CN111435529A - 一种显微镜图像的处理方法 - Google Patents

Abstract

本发明公开了一种显微镜图像的处理方法，包括：从显微镜图像中提取具有有效信息的图像块；训练生成对抗网络重构具有有效信息的图像块，包括训练生成对抗网络模型、保存训练所训练好的模型及重构具有有效信息的图像块成为重构后的具有有效信息的图像块；以及拼接重构后的具有有效信息的图像块，成为处理后的显微镜图像。本发明所公开的显微镜图像的处理方法提供了一種医学显微镜图像超分辨问题的整体解决方案，可以加快网络的训练和整个显微镜图像重构的效率、可以将重构的误差最小化，可有效的提升操作者(例如是医生)的工作效率，且具有较强的鲁棒性和稳健性。

Description

一种显微镜图像的处理方法

技术领域

本发明涉及图像处理领域，更具体涉及一种显微镜图像的处理方法。

背景技术

众所周知，图像是我们日常生活中最重要的信息载体之一。然而，在生成图像的过程，由于硬件设备以及外界环境的影响，所获得的图像往往不能满足人们的要求，造成了一定的图像认知阻碍。如何提升图像的分辨率因此成为图像处理领域的热点问题，也因此，图像超分辨的技术研究受到了各界的广泛关注。

目前，针对普通图像的超分辨研究用深度学习的方法已经取得了突破性的成果，然而显微镜图像因图像空间分辨率受Abbe衍射极限的限制，以及光照、噪声等影响增加了显微镜图像超分辨研究的难度。据了解，当前普通的显微镜设备，本领域技术人员可以采集的图像最大放大倍数是4.5，无法为使用者，例如是医生，提供分辨率更高的图像；而且由于受显微镜可视区域的限制，当放大图像后，采集不到完整的图像信息，如果需要完整的放大图像，我们需要对采集的图像进行拼接、融合，这种情况下要保证图像信息的完整采集本身也存在较大的操作难度。

深度学习是目前最先进的一种人工智能学习方法,它通过模仿人脑的来构建网络模型，通过大量的数据学习，网络模型能够学习到高维数据的复杂结构特点，在图像处理领域有着惊奇的表现。用深度学习的方法做显微镜图像超分辨的研究不仅可以实现更大倍数的重构，为使用者，例如是医疗组织机构节省了高昂的硬件设备成本，还可以提升整体的工作效率，因此显微镜图像的超分辨研究具有非常重要的现实意义，可以应用到医疗诊断、生物学研究等多个领域。

发明内容

为了克服现有技术的不足，本发明所解决的技术问题是提供一种用深度学习算法，即基于生成对抗网络(GAN)高效的实现医学显微镜图像超分辨的方法。

为解决上述技术问题，本发明所采用的技术方案如下：

一种显微镜图像的处理方法，包括：步骤S1：从显微镜图像中提取具有有效信息的图像块；步骤S2：训练生成对抗网络重构具有有效信息的图像块，包括：训练生成对抗网络模型；保存训练好的生成对抗网络模型；及训练好的生成对抗网络模型以第一重构倍数放大重构具有有效信息的图像块，成为重构后的具有有效信息的图像块；以及步骤S3：基于SURF特征拼接重构后的具有有效信息的图像块，成为处理后的显微镜图像。优选地是，第一重构倍数为4。

优选地是，步骤S1包括以下步骤：步骤S11：将显微镜图像分割为多个图像块；以及步骤S12：将图像块分为至少一类，至少一类包括具有有效信息的图像块的一类，提取具有有效信息的图像块。优选的是，多个图像块的大小相同。优选的是，显微镜图像的尺寸不是图像块的整数倍时，在显微镜图像的两侧补充空白图像，使得补充后的显微镜图像的尺寸为图像块的整数倍。优选地是，步骤S12还包括：将图像块用最大类间方差算法分为具有有效信息的图像块的一类，以及背景图像块的一类。更优选地是，最大类间方差算法将显微镜图像分类为前景区域及背景区域；更优选地是，具有有效信息的图像块的一类包括具有前景区域的图像块，背景图像块的一类包括不具有前景区域的图像块；优选地是，具有有效信息的图像块的一类包括具有5％以上前景区域的图像块，背景图像块的一类包括不具有5％以上前景区域的图像块；优选地是，具有有效信息的图像块的一类包括具有1％以上前景区域的图像块，背景图像块的一类包括不具有1％以上前景区域的图像块。通过具有有效信息的图像块的提取，可以使得本发明的显微镜图像处理方法更有效率。

优选地是，训练生成对抗网络模型的步骤包括：取得高分辨率标签图像块；将高分辨率标签图像块进行下采样，得到低分辨率图像块；将低分辨率图像块输入生成对抗网络；以及通过生成对抗网络生成高分辨率图像块；更优选地，低分辨率图像块输入生成对抗网络，为低分辨率图像块输入生成对抗网络的生成网络；且通过生成对抗网络生成高分辨率图像块，为通过生成对抗网络的生成网络生成高分辨率图像块。更优选地是，将高分辨率标签图像块用双线性插值法进行下采样。优选地是，训练生成对抗网络模型的步骤包括：将高分辨率图像块输入生成对抗网络的鉴别网络中；将高分辨率标签图像块输入生成对抗网络的鉴别网络中；鉴别网络判断高分辨率图像块为真实的训练集的样本的概率；以及输出高分辨率图像块为真实的训练集的样本的概率。优选地是，步骤S2中训练生成对抗网络模型的步骤包括：计算高分辨率图像块相对于高分辨率标签图像块的损失函数；最小化损失函数；以及优化生成对抗网络中，生成网络的网络参数，产生优化后的生成网络参数。更优选地是，的生成网络产生高分辨率图像块的步骤，及优化生成网络的网络参数，产生优化后的生成网络参数的步骤，为进行多次，且在每一次优化生成网络的网络参数，产生优化后的生成网络参数的步骤后进行的，的生成网络产生高分辨率图像块的步骤中，生成网络使用该次产生的优化后的生成网络参数。通过生成对抗网络，可以将重构的误差最小化。具体来说，算法网络中的深度残差网络使得重构出的高分辨率图像具备更加精细的纹理结构，从而实现更大倍数、效果更佳的医学显微镜图像重构效果。

优选地是，训练生成对抗网络的训练目标为：生成网络生成的高分辨率图像块与高分辨率标签图像块的误差率最小化，及鉴别网络判断高分辨率图像块为真实的高分辨率标签图像块的概率的准确率最大化；优选地是，生成对抗网络的生成网络及鉴别网络的最小最大化优化公式为：min_G max_D V(D,G)＝E[log(D(x))]+E[log(1-D(G(z)))]，其中E为期望值，G(z)为图像z(高分辨率标签图像块)输出的样本(高分辨率图像块)，D(x)为样本x(输入鉴别网络的高分辨率标签图像块)来自于真实的高分辨率标签图像块的概率，V(D,G)为生成网络的误差率以及鉴别网络的准确率。更优选地，生成网络及鉴别网络的最小最大化优化公式包括鉴别网络的准确率的最大化优化公式及生成网络的误差率的最小化优化公式，鉴别网络的准确率的最大化优化公式为：max_D V(D,G)＝E[log(D(x))]，生成网络的误差率的最小化优化公式为：min_GV(D,G)＝E[log(1-D(G(z)))]。

优选地是，损失函数由内容损失和对抗损失组成，并由以下公式计算而成：

f_loss＝l_Content+k·l_Gen；

l_Content＝l_MSE+l_VGG/i,j；

以及

其中，f_loss为损失函数，l_Content为内容损失，l_Gen为对抗损失，k为对抗损失的权重，l_MSE为像素空间的最小均方差即l_VGG/i,j基于特征空间的最小均方差，I^LR为低分辨率图像块，I^HR为高分辨率标签图像块，G_θG(I^LR)为高分辨率图像块，W为低分辨率图像块的宽，H为低分辨率图像块的高，C为低分辨率图像块的通道数，r为生成对抗网络的重构的重构倍率，D_θD(I)为生成对抗网络的鉴别网络所判断的图像I属于真实的高分辨率标签图像块的概率，μ是代表VGG 19网络中的特征映射，i,j是第i最大池化层之前的第j卷积(激活后)，N为训练样本总数。

优选地是，训练生成对抗网络模型的步骤中，将高分辨率标签图像块进行下采样得到低分辨率图像块的步骤之后的步骤为循环进行多次；更优选的为进行1000次；更优选地，生成对抗网络的初始参数为：初始学习率lr＝0.001-0.1，循环次数n_epoch＝1000，批量处理值batch_size＝16，步长lr_decay<1，滑动平均衰减率train_betal＝0.9-1。

优选地是，步骤S3中，包括以下步骤：步骤S31：将背景图像块以第一重构倍数重构放大，成为重构后的背景图像块；步骤S32：用基于SURF特征的算法拼接重构后的背景图像块及重构后的具有有效信息的图像块，成为处理后的显微镜图像。更优选地是，步骤S31中将背景图像块用双线性插值法以第一重构倍数重构放大，成为重构后的背景图像块。通过SURF特征的算法，可以完整实现步骤S2中重构后的高分辨率图像块和步骤S31中放大后的背景图像块的拼接融合。

本发明的显微镜图像处理方法能够带来以下有益效果：

1.提供了一種医学显微镜图像超分辨问题的整体解决方案，其中包括最开始对显微镜图像的处理即显微镜图像有效信息图像块的提取，用数据训练生成对抗网络模型实现图像块的超分辨以及用SURF(Speeded Up Robust Features)特征算法实现图像块的拼接等。其中，通过筛选具有有效信息的图像块作为训练数据，可以加快网络的训练和整个显微镜图像重构的效率。

2.通过生成对抗网络算法，可以将重构的误差最小化。具体来说，算法网络中的深度残差网络(例如是VGG 19网络)使得重构出的高分辨率图像具备更加精细的纹理结构，从而实现更大倍数、效果更佳的医学显微镜图像重构效果。

3.比起现有的高清扫描仪而言，本方法不需要花费昂贵费用购买高清扫描仪的硬件设备。而且，和高清扫描仪相比，本发明的方法容易操作，只需要几秒的时间即可从低分辨显微镜图像获得高分辨率图像，可有效的提升操作者(例如是医生)的工作效率。

4.本方法相较以往的方法而言，在较大重构倍率时，其图像性能减弱的幅度比普通的双线性插值法要低很多，具有较强的鲁棒性和稳健性。

附图说明

图1为本发明的显微镜图像处理方法的步骤流程图。

图2为本发明的显微镜图像处理方法的具体详细步骤流程图。

图3为步骤S21训练生成对抗网络的步骤流程图。

图4为在一个实施方式中，所采集的显微镜图像及其进行步骤S11以及步骤S12的具体示例。

图5为在一个实施方式中，步骤S21训练生成对抗网络的过程以及训练好的生成对抗网络将低分辨率图像块转换成高分辨率图像块的结果示意图。

其中，图1-5的附图标记说明如下：

S1、S2、S3、S11、S12、S31、S32、201-210、221-223：步骤

具体实施方式

为更进一步阐述本发明为了达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下。

请参照图1，为本发明的显微镜图像处理方法的步骤流程图。本发明的显微镜图像处理方法至少包括以下步骤：

步骤S1：显微镜图像中，具有有效信息的图像块的提取。

步骤S2：训练生成对抗网络，重构具有有效信息的图像块。

步骤S3：基于SURF特征拼接图像块。

关于本发明的显微镜图像处理方法的具体详细步骤流程图，请参照图2、图3，以及如下的详细说明：

步骤S1

在步骤S1之中，可以具体包括以下步骤：

步骤S11：将显微镜图像进行等大分割，成为小的图像块。

步骤S11中所处理的显微镜图像，包括作为训练集的显微镜图像样本，以及需要图像超分辨的显微镜图像。

在步骤S11中，若图像不能恰好分割为等大的图像块，则可以在图像的四周填充背景块后再切割。具体来说，可以通过计算图像及所生成的图像块的大小，用四周填充背景补齐尺寸的方法，将图像等大地切割成所需要的尺寸的若干个图像块。此外，在分割图像块之后，可以标记每个图像块的坐标信息。

图4为在一个实施方式中，所要处理的显微镜图像及其进行步骤S11、步骤S12的结果示意图。

举例来说，在一个实施方式中，可以采集大小为5440×3648像素的图像，如图4中(A)所示；其中可以看到，一般例如是医学显微镜图像的显微镜图像中，常常有部分不含细胞的背景空白区域。接着，将采集到的图像进行分割。举例来说，在一个实施方式中，可以将采集到的图像按照96×96的大小进行切割。此处由于5440不能被96整除，因此可在图像的左右两边分别填充矩形背景空白区域，例如是16×3648像素大小的空白区域。此处填充完之后的图像大小为5472×3648像素(5440+16×2＝5472)，可以被96整除(5472/96＝57，3648/96＝38)，每幅图得到57×38＝2166个图像块。但本发明并不以此为限，应视为图像的分割尺寸可依照实际所需要的大小进行设置。分割后得到的多个图像块如图4中(B)所示。

步骤S12：将切割完后的图像块分类，提取具有有效信息的图像块。

具体来说，步骤S12为在步骤S11执行完以后，将步骤S11所切割的若干图像块，分成“背景图像块”和“具有有效信息的图像块”两类，并将“具有有效信息的图像块”一类提取出来。

更具体来说，在一个实施方式中，可以将图4中(B)所切割出来的多个图像块分成“背景图像块”(例如图4(B)中左上角的图像块)以及“具有有效信息的图像块”(例如图4(B)中除了左上角的图像块的其他四个图像块)，并将后者提取出来(成为例如是图4(C)中的四个图像块)。

在步骤S12中，具体可以用最大类间方差算法将显微镜图像分为具有有效信息的图像块和背景图像块两部分。此处的“最大类间方差算法”简称OTSU算法，是由大津展之(Nobuyuki Otsu)提出，用于图像二值化的二值分割的一种经典算法，也是一种自适应的阈值计算方法。最大类间方差算法一般来说是根据图像的灰度，将图像区分成背景区域和前景区域两部分。其中“方差”是一种度量灰度分布均匀性的统计指标，构成图像的两部分的差别越大，意味着背景和前景之间的类间方差越大。

最大类间方差算法的核心可为求得一个使得二值化图像的前景区域和背景区域之间的差别最大的阈值T。对于图像块I(x,y)，设分割阈值为T，前景区域像素点数占全图的比例为ω₀，平均灰度长度为μ₀；背景区域像素点数占全图的比例为ω₁，平均灰度为μ₁。全图总平均灰度为μ，以g表示类间方差值，求最大类间方差的过程推导如式(1)。当方差g达到最大值时，此时的全图总平均灰度值μ，即为所求最佳的分割阈值T。

g＝ω₀(μ₀-μ)²+ω₁(μ₁-μ)²＝ω₀ω₁(μ₀-μ₁)²

式(1)

而将整个图像通过最大类间方差算法区分为“背景区域”和“前景区域”两部分之后，可以将其中具有前景区域的图像块分类为“具有有效信息的图像块”，而将其中不具有前景区域的图像块分类为“背景图像块”。或由于最大类间方差算法可能会将一部分的杂质、污染物乃至于噪声杂讯判断为前景区域，因此也可以是具有一定比例(例如是0％至5％中的任意数值，例如是5％，或也可以是例如是1％至4％中的任意数值，例如是1％、2％、3％、4％……等)以上的前景区域的图像块分类为“具有有效信息的图像块”,而将不具有前景区域、或所具有前景区域比例低于此比例的图像块分类为“背景图像块”。此处区分图像块的前景区域比例可以随着图像中所采集到的杂质、污染物、噪声杂讯比例来决定。

值得注意的是，步骤S1并不限于应用于本方法所要重构的显微镜图像。事实上，用来训练本方法中的生成对抗网络的训练集，也可以通过步骤S1来进行图像块的分割及提取具有有效信息的图像块，以利于输入步骤S2中的生成对抗网络进行训练，例如是图2中右侧所示。

步驟S2

在步骤S1中获得“具有有效信息的图像块”之后，即可进行步骤S2。

具体来说，可以如图2所示，如果这些“具有有效信息的图像块”是高分辨率的图像块(在此称为高分辨率标签图像块HR)，用来作为步骤S2中生成对抗网络的训练集的话，那么可以通过如图2中步骤S21的训练步骤，来训练生成对抗网络模型并保存训练好的模型及其参数；而若这些“具有有效信息的图像块”是本方法所要重构的低分辨率的图像块，则可通过如图2中步骤S22，用已经训练好的生成对抗网络模型及其参数来进行重构。

步骤S2中的生成对抗网络启发自博弈论中的二人零和博弈。其中生成对抗网络模型中的两位博弈方，分别由生成网络G和鉴别网络D充当。生成网络G功能可以比作是一个样本生成器，当输入一个样本或者是噪声时，其追求效果是输出越像真实样本(例如是真实的训练数据)越好；另一方面，鉴别网络D可以比作一个二分类器，估计一个样本来自于训练数据而非生成数据(所生成的“假训练数据”)的概率，如果样本较可能来自于真实的训练数据，鉴别网络D输出大概率，否则鉴别网络D输出小概率。

一般来说，博弈的结果是达到纳什均衡。具体来说，本发明的图像处理方法，其训练目标可为：训练生成网络G，优化其参数，使其所输出的图像鉴别网络D无法判断是否为真实样本。也就是说，无论对于真假输入样本，鉴别网络D输出的概率都是0.5。

步骤S21中，生成对抗网络具体的训练方式，如图3流程图所示。

首先，可以设置生成对抗网络的初始参数。在本方案中设置的初始参数例如可为：初始学习率lr＝0.001-0.1，循环次数n_epoch＝1000，批量处理值batch_size＝16，步长lr_decay<1，滑动平均衰减率train_betal＝0.9-1。举例来说，初始参数可以具体为：初始学习率lr＝0.001，循环次数n_epoch＝1000，批量处理值batch_size＝16，步长lr_decay＝0.1，滑动平均衰减率train_betal＝0.99。然而，本发明并不以此为限，这些初始参数的设定应视为本领域技术人员可以根据具体实践、课题实际需要，以及所需要的损失函数收敛值大小和所需收敛时间的长短进行设置。

训练集的生成(步骤201-206、210)

生成对抗网络模型的训练集的样本数据，可以为对显微镜所得到的高分辨率标签图像块HR进行下采样得到的低分辨率图像块LR(如图2、3中步骤201所示)，以及通过生成对抗网络生成的高分辨率图像块HR1。如此一来，生成了高低分辨率相对应的图像对，即低分辨率图像块LR和高分辨率图像块HR1的图像对。这部分具体来说，可为用双线性插值法进行下采样，并可为用对高分辨率标签图像块HR下采样得到的低分辨率图像块LR作为输入数据，输入生成对抗网络的生成网络G中(步骤202)，并生成相应的高分辨率图像块HR1(步骤203)。

在一个实施方式中，可以将高分辨率标签图像块HR下采样得到低分辨率图像块LR的数据集，并划分为多个批量，依次输入生成对抗网络的生成网络G中，生成高分辨率图像块HR1。举例来说，可以划分为200个批量。举例来说，可以将生成对抗网络的重构倍数设为×4，这样当输入尺寸为96×96像素的低分辨率图像块LR时，可以生成384×384像素的高分辨率图像块HR1。但本发明并不以此为限，其中划分的批量数量、生成对抗网络的重构倍数、输入低分辨率图像块LR尺寸，应视为本领域技术人员可以根据具体实践、课题实际需要进行设置。

接着，在获得高分辨率图像块HR1(步骤203)之后，可以输入到鉴别网络D中(如步骤204)。同时，并选择与输入的低分辨率图像块LR对应的高分辨率标签图像块HR输入到鉴别网络D中(步骤210)。根据与输入的低分辨率图像块LR对应的高分辨率标签图像块HR进行对比，计算高分辨率图像块HR1是真实的高分辨率标签图像块HR的概率(步骤205)并将其输出(步骤206)。

通过损失函数的最小化训练生成对抗网络(步骤221-223)

另一方面，关于生成网络G、鉴别网络D的训练算法，其实现原理依据前述的训练目标，可以为：生成网络G生成的图像误差率最小化，即生成网络G生成的高分辨率图像块HR1越接近高分辨率标签图像块HR；鉴别网络D判断的准确率最大化，即鉴别网络D能够越准确判断输入的图像是否为真实的高分辨率标签图像块HR。具体来说，式(2)为生成对抗网络的最小最大化优化公式：

其中E为期望值，G(z)为图像z(即高分辨率标签图像块HR)输出的样本(即生成网络G生成的高分辨率图像块HR1)，D(x)为样本x(即输入鉴别网络D的高分辨率图像块HR1)来自于真实的高分辨率标签图像块HR的概率；而另一方面，V(D,G)为生成网络G的生成图像误差率以及鉴别网络D的判断准确率。

而式(2)又可拆分为优化鉴别网络D的最大化优化公式，即式(3)，以及优化生成网络G的最小化优化公式，即式(4)：

具体来说，可以先通过式(3)实现鉴别网络D判断准确率的最大化，即max_D V(D,G)算出D(x)，再通过式(4)实现生成网络G生成图像误差率的最小化，即min_G V(D,G)算出G(z)；但也可以先通过式(4)实现生成网络G生成图像误差率的最小化，再通过式(3)实现鉴别网络D判断准确率的最大化，本发明并不以此为限。

具体来说，此处的训练算法，可以是在运行一次生成网络G和鉴别网络D后，计算整个生成对抗网络的损失函数f_loss(步骤221)，具体来说是高分辨率图像块HR1相对于高分辨率标签图像块HR的损失函数。此处的“损失函数”为感知损失，可包括内容损失l_Content和一定权重k的对抗损失l_Gen两部分，如式(5)所示：

f_loss＝l_Content+k·l_Gen

式(5)

其中，权重k为调整内容损失l_Content及对抗损失l_Gen两部分不同的损失对于实验结果影响的参数。当这个数值较大时，可以增加对抗损失l_Gen的权重，更充分考虑训练网络存在的误差；另一方面，当这个数值较小时，可以增加内容损失l_Content的权重，更强化生成对抗网络对图像内容像素的学习。在一个实施方案中，权重k可为10^-3；但本发明并不以此为限，应视为权重k可以根据训练网络的误差、图像内容学习的程度，以及所需要的内容损失l_Content、对抗损失l_Gen对结果影响程度而进行调整。

而如式(6)所示，内容损失l_Content可为包括像素空间的最小均方差l_MSE和一个基于特征空间的最小均方差l_VGG/i,j之和。此处的“特征”是利用VGG网络提取的图像高层次特征。其中，l_MSE的计算公式如式(7)所示，l_VGG/i,j的计算公式如式(8)所示。

l_Content＝l_MSE+l_VGG/i,j

式(6)

在式(6)至式(8)中，I^LR为低分辨率图像块LR，I^HR高分辨率标签图像块HR；I^LR的大小是W×H×C,I^HR大小为rW×rH×C，W和H分别为图像的宽和高，C为通道数，r为重构倍率。另一方面，D_θD(I)为鉴别网络D所判断的图像I属于真实的训练集样本的概率，G_θG(I^LR)是指重构出的高分辨率图像，即高分辨率图像块HR1；φ_i,j是代表VGG 19网络中的特征映射，i,j是第i最大池化层之前的第j卷积(激活后)，N为训练样本总数。

另一方面，对抗损失l_Gen的计算公式如式(9)所示。

一般生成对抗网络中，对抗损失的计算公式(例如“∑log(1-…)”的形式)略有不同。通过如式(9)所示的对抗损失的计算公式，可以得到更好的梯度表现。

在每一次通过以上生成网络G的最小化算出G(z)以及鉴别网络D的最大化算出D(x)，并计算出损失函数f_loss之后，可以通过使得损失函数f_loss最小化(步骤222)，并更新优化生成网络G的参数(步骤223)。具体来说，可以通过例如tf.train.AdamOptimizer优化损失函数来使得损失函数f_loss最小化。

依照上述的计算方法循环迭代，直至D(x)收敛至理想值(例如是收敛至0.5)，即可达成本发明的训练目标。具体来说，每组批量都重复上述算法的迭代步骤，直至D(x)收敛至理想值。举例来说，可以进行指定循环次数的迭代(步骤207)，若循环次数小于指定次数，则继续循环，否则结束迭代。具体来说，可以例如进行1000次迭代。提高迭代次数可以使得网络更倾向于收敛，比较不容易产生无法收敛的问题；另一方面，降低迭代次数可以比较不容易产生过拟合的问题。不过，本发明并不以此为限，应视为本领域技术人员可以依照函数收敛及过拟合问题具体情况进行调整。

在迭代结束后，可以保存训练好的生成对抗网络模型及其参数(步骤208)。具体来说，可以将训练好的生成对抗网络模型及其参数保存至trained_model。如此一来，就可以使生成网络生成的重构图像更加真实。训练好的生成对抗网络模型和参数可用于其他医学显微图像，并可以根据医学显微图像的类别分类训练模型，进而可针对性实现不同类别医学显微图像的超分辨率的重建。

最后，请参照图2中步骤S22，可以基于训练好的生成对抗网络模型和参数，将需要重构的显微镜图像块输入生成对抗网络模型中，重构出高分辨率图像块。具体来说，可以是将需要重构的低分辨率的显微镜图像块输入训练好的生成对抗网络模型中的生成网络G中，重构出高分辨率的重构后的显微镜图像块。

在一个实施方式中，低分辨率图像块LR、高分辨率标签图像块HR、高分辨率图像块HR1通过生成对抗网络训练过程，以及训练好的生成对抗网络将低分辨率图像转换成高分辨率图像的结果示意图，如图5所示。

步骤S3

在步骤S3中，可以包括以下步骤：

步骤S31：将步骤S12所分类出的背景图像块，放大与具有信息的图像块重构的等大倍数。

举例来说，在一个实施方案中，生成对抗网络的重构倍数(放大倍数)设为×4，其输入尺寸为96×96像素的低分辨率图像块LR并生成384×384像素的高分辨率图像块HR1；在步骤S31中，其所得的96×96像素的背景图像块，即可放大为384×384像素的放大后背景图像块。此处放大的方式，例如可为双线性插值法。

步骤S32：用基于SURF特征的算法，实现步骤S2中重构后的高分辨率图像块HR1和步骤S31中放大后的背景图像块的拼接融合。

需要说明的是，在步骤S32中，SURF算法的原理如下：

构建Hessian矩阵：

其中，可以得到上述Hessian矩阵H(f(x,y))的判别式为：

式(11)中判别式的值det(H)，即是式(10)中Hessian矩阵H(f(x,y))的特征值。可以利用判定结果的符号将所有点分类，根据判别式取值正负，可以判别该点是否为极值点。

而在本发明的SURF算法中，可以将图像中的每一个点像素在尺度为σ的Hessian矩阵定义，表示为I(x,y)，取代函数值f(x,y)，得到在尺度σ上对x与y的二阶导数L_xx、L_xy、L_yy，从而得到以下的Hessian矩阵；

因此，只要选用二阶标准高斯函数作为高斯滤波器，输入图像函数与高斯函数进行特定核间的核卷积计算二阶偏导数，便能计算出Hessian矩阵H(x,σ)的三个矩阵元素L_xx、L_xy、L_yy，从而计算出Hessian矩阵H(x,σ)。

最后，完成了步骤S32所述的背景图像块的拼接融合，即可实现医学显微镜低分辨图像的完整重构。

若需要实现更大倍数的重构，可将已得到的图像作为输入，再次通过训练好的模型进行重构，可到更大倍数的重构图像，例如，若生成对抗网络的重构倍数设为×4，则将×1图像经过一次重构可得到×4的图像，将得到的×4图像再次作为输入可得到×16的重构图像，依此类推，可实现更高倍数的重构。虽然随着重构倍数的加大，重构出的图像性能可能会逐渐减弱；然而，本发明的方法中，其图像性能减弱的幅度比普通的双线性插值法要低很多，可见本发明的方法相较于现有的方法具有更强的鲁棒性和稳健性。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种显微镜图像的处理方法，其特征在于，包括：

从所述显微镜图像中提取具有有效信息的图像块；

训练生成对抗网络重构所述具有有效信息的图像块，包括：

训练所述生成对抗网络模型；

保存所述训练所述生成对抗网络模型的步骤所训练好的生成对抗网络模型；及

所述训练好的生成对抗网络模型以第一重构倍数放大重构所述具有有效信息的图像块，成为重构后的具有有效信息的图像块；以及

拼接所述重构后的具有有效信息的图像块，成为处理后的显微镜图像。

2.如权利要求1所述的显微镜图像的处理方法，其特征在于，所述从所述显微镜图像中提取所述具有有效信息的图像块的步骤包括以下步骤：

将所述显微镜图像分割为多个图像块；以及

将所述图像块分为至少一类，所述至少一类包括所述具有有效信息的图像块的一类，提取所述具有有效信息的图像块；

优选地，所述多个图像块的大小相同；

优选地，所述显微镜图像的尺寸不是所述图像块的整数倍时，在所述显微镜图像的两侧补充空白图像，使得补充后的所述显微镜图像的尺寸为所述图像块的整数倍。

优选地，所述将所述图像块分为所述至少一类，提取所述具有有效信息的图像块的步骤还包括：

将所述图像块用最大类间方差算法分为：

所述具有有效信息的图像块的所述一类，以及

背景图像块的一类；

优选地，所述最大类间方差算法将所述显微镜图像分为前景区域及背景区域；

优选地，所述具有有效信息的图像块的所述一类包括具有所述前景区域的所述图像块，所述背景图像块的所述一类包括不具有所述前景区域的所述图像块；

优选地，所述具有有效信息的图像块的所述一类包括具有5％以上所述前景区域的所述图像块，所述背景图像块的所述一类包括不具有5％以上所述前景区域的所述图像块；

优选地，所述具有有效信息的图像块的所述一类包括具有1％以上所述前景区域的所述图像块，所述背景图像块的所述一类包括不具有1％以上所述前景区域的所述图像块。

3.一种生成对抗网络模型的训练方法，包括：

取得高分辨率标签图像块；

将所述高分辨率标签图像块进行下采样，得到低分辨率图像块；

将所述低分辨率图像块输入所述生成对抗网络；以及

通过所述生成对抗网络生成高分辨率图像块；

优选地，所述低分辨率图像块输入所述生成对抗网络，为所述低分辨率图像块输入所述生成对抗网络的生成网络；且所述通过所述生成对抗网络生成所述高分辨率图像块，为通过所述生成对抗网络的所述生成网络生成所述高分辨率图像块；

优选地，所述将所述高分辨率标签图像块进行下采样为将所述高分辨率标签图像块用双线性插值法进行下采样。

4.如权利要求3所述的生成对抗网络模型的训练方法，其特征在于，更包括：

将所述高分辨率图像块输入所述生成对抗网络的鉴别网络中；

将所述高分辨率标签图像块输入所述生成对抗网络的所述鉴别网络中；

所述鉴别网络判断所述高分辨率图像块为真实的所述高分辨率标签图像块的概率；以及

输出所述的所述高分辨率图像块为真实的所述高分辨率标签图像块的概率。

5.如权利要求4所述的生成对抗网络模型的训练方法，其特征在于，训练所述生成对抗网络的训练目标为：

所述生成网络生成的所述高分辨率图像块与所述高分辨率标签图像块的误差率最小化，及

所述鉴别网络判断所述高分辨率图像块为真实的所述高分辨率标签图像块的概率的准确率最大化；

优选地，所述生成对抗网络的所述生成网络及所述鉴别网络的最小最大化优化公式为：

min_Gmax_DV(D,G)＝E[log(D(x))]+E[log(1-D(G(z)))]，

其中E为期望值，G(z)为图像z(所述高分辨率标签图像块)输出的样本(所述高分辨率图像块)，D(x)为样本x(所述输入所述鉴别网络的所述高分辨率标签图像块)来自于真实的高分辨率标签图像块的概率，V(D,G)为所述生成网络的所述误差率以及所述鉴别网络的所述准确率；

优选地，所述的所述生成网络及所述鉴别网络的最小最大化优化公式，包括所述鉴别网络的所述准确率的最大化优化公式及所述生成网络的所述误差率的最小化优化公式；

优选地，所述的所述鉴别网络的所述准确率的最大化优化公式为：

max_DV(D,G)＝E[log(D(x))]；

优选地，所述的所述生成网络的所述误差率的最小化优化公式为：

min_GV(D,G)＝E[log(1-D(G(z)))]。

6.如权利要求3所述的生成对抗网络模型的训练方法，其特征在于，更包括：

计算所述高分辨率图像块相对于所述高分辨率标签图像块的损失函数；

最小化所述损失函数；以及

优化所述生成对抗网络中，生成网络的网络参数，产生优化后的生成网络参数；

优选地，所述的所述生成网络产生所述高分辨率图像块的步骤，及所述优化所述生成网络的所述网络参数，产生所述优化后的生成网络参数的步骤，为进行多次，且在每一次所述优化所述生成网络的所述网络参数，产生所述优化后的生成网络参数的步骤后进行的，所述的所述生成网络产生所述高分辨率图像块的步骤中，所述生成网络使用该次产生的所述优化后的生成网络参数。

7.如权利要求6所述的生成对抗网络模型的训练方法，其特征在于，所述损失函数由内容损失和对抗损失组成，并由以下公式计算而成：

f_loss＝l_Content+k·l_Gen；

l_Content＝l_MSE+l_VGG/i,j；

以及

其中，f_loss为所述损失函数，l_Content为所述内容损失，l_Gen为所述对抗损失，k为对抗损失的权重，l_MSE为像素空间的最小均方差即l_VGG/i,j基于特征空间的最小均方差，I^LR为所述低分辨率图像块，I^HR为所述高分辨率标签图像块，G_θG(I^LR)为所述高分辨率图像块，W为所述低分辨率图像块的宽，H为所述低分辨率图像块的高，C为所述低分辨率图像块的通道数，r为所述生成对抗网络的所述重构的重构倍率，D_θD(I)为所述生成对抗网络的鉴别网络所判断的图像I属于真实的所述高分辨率标签图像块的概率，φ是代表VGG19网络中的特征映射，i,j是第i最大池化层之前的第j卷积(激活后)，N为训练样本总数。

8.如权利要求3所述的生成对抗网络模型的训练方法，其特征在于，在所述的将所述高分辨率标签图像块进行下采样得到所述低分辨率图像块的步骤之后的步骤，为循环进行多次；

优选地，所述多次为1000次；

优选地，所述生成对抗网络的初始参数为：

初始学习率lr＝0.001-0.1，

循环次数n_epoch＝1000，

批量处理值batch_size＝16，

步长lr_decay<1，以及

滑动平均衰减率train_betal＝0.9-1。

9.如权利要求1所述的显微镜图像的处理方法，其特征在于，所述训练所述生成对抗网络模型的步骤，包括如权利要求3-8其中任一者所述的生成对抗网络模型的训练方法。

10.如权利要求2所述的显微镜图像的处理方法，其特征在于，所述拼接所述重构后的具有有效信息的图像块的步骤中，包括以下步骤：

将所述背景图像块，以所述第一重构倍数重构放大，成为重构后的背景图像块；

用基于SURF特征的算法拼接所述重构后的背景图像块及重构后的具有有效信息的图像块，成为所述处理后的显微镜图像；

优选地，所述将所述背景图像块，以所述第一重构倍数重构放大，成为所述重构后的背景图像块的步骤为将所述背景图像块用双线性插值法，以所述第一重构倍数重构放大，成为所述重构后的背景图像块；

优选地，所述第一重构倍数为4。

Images