CN112348806B - 一种无参考数字病理切片模糊度评价方法 - Google Patents

Abstract

本发明公开一种无参考数字病理切片模糊度评价算法，包括生成对抗网络，生成对抗网络包括自编码器和判决器，自编码器中，输入原始图像I，对I进行p次下采样操作得到特征图I₁，对I₁进行q次上采样操作得到恢复图I′，对I′进行r次下采样操作得到低维特征图I₂，对比I₁和I₂计算潜变量损失；在判决器中，同时输入I和I′，判决器对图像进行s次下采样，计算I和I′的判决损失。本发明能正确的处理不同种类的数字病理切片，处理切片的空白区域，并且可自动训练、无需标注数据。

Description

一种无参考数字病理切片模糊度评价方法

技术领域

本发明涉及计算机视觉相关技术领域，尤其涉及一种无参考数字病理切片模糊度评价方法。

背景技术

数字病理切片的目标大多数位于切片的中间位置，而四周为空白区域，如图1所示。数字病理切片评分的结果可用于切片扫描仪(如当前扫描的图像被判断为模糊，那么可以自动重新扫描)或切片的质控系统(如自动确定当前切片是否可以用于诊断)等。当前的算法几乎都与图像具体内容强相关，切片四周的空白区域几乎都会被判为模糊，但实际上切片的空白区域是否模糊与切片的质量没有任何关系。即使在图像的目标区域内，现存的方法也会因为与内容强相关而产生较大的误差。如图2、图3都是清晰的切片，但现在的方法几乎都会认为图2远比图3清晰。综上所述，现存的方案无法满足数字病理切片对于模糊度评价的需求。

发明内容

本发明旨在提供一种无参考数字病理切片模糊度评价方法，能正确的处理不同各类的数字病理切片，处理切片的空白区域，自动训练、无需标注数据。

为达到上述目的，本发明是采用以下技术方案实现的：

本发明公开一种无参考数字病理切片模糊度评价方法，其特征在于包括生成对抗网络，生成对抗网络包括自编码器和判决器，

自编码器中，输入原始图像I，对I进行p次下采样操作得到特征图I₁，对I₁进行q次上采样操作得到恢复图I′，对I′进行r次下采样操作得到低维特征图I₂，对比I₁和I₂计算潜变量损失，

判决器中，同时输入I和I′，判决器对图像进行s次下采样，计算I和I′的误差；

所述生成对抗网络的训练过程包括以下步骤：

a1、训练数据进行归一化，方法如下，

式(1)中，μ为图像的均值，σ为图像的方差，

a2、图像进行随机的上下翻转，随机左右翻转及随机旋转，

a3、将多个图像组成一个小批次，送入网络进行前向传播，

a4、计算损失，

a5、计算损失对各个参数的梯度值，并使用相应的梯度值更新参数，更新参数时判决器的学习率为5e^-5，自编码器的学习率为1e^-5，

a6、重复上述步骤直到网络收敛；

所述生成对抗网络的预测过程包括以下步骤：

b1、输入待预测图片，

b2、将预测数据进行归一化，方法与步骤a1中相同，

b3、将图像送入自编码器生成恢复图像，

b4、计算恢复图像与原始图像的误差，计算方法如下：

其中G为恢复的图像，

b5、如果Δ≤0.1，那么原图为清晰的图像；如果0.1<Δ≤0.35，那么原图为一般模糊图像；如果0.35<Δ≤0.65，那么原图为模糊图像，如果0.65<Δ那么原图为特别模糊图像。

优选的，生成对抗网络中使用了R1正则化损失。

优选的，在自编码器及判决器中使用谱归一化。

优选的，自编码器及判决器中使用Hinge Loss。

优选的，训练网络使用的损失函数定义如下：

L＝L_adv+βL_ae+γL_reg

其中L_adv生成对抗网络损失，进一步可分为对于判决器的损失及对于自编码器的损失，对于判决器的损失又分为对于原始图像的损失及对于恢复图像的损失，依次定义如下：

对于判决器中原始图像的损失：L_{adv_dr}＝max(1-log its,0)

对于判决器中恢复图像的损失定义为：L_{adv_df}＝max(1+log its,0)

对于自编码器的损失定义为：L_{adv_g}＝max(1-log its,0)

其中logits为判决器输出，

其中L_ae为自编码器损失，相应的定义为：L_ae＝||I-G||₁+||H_I-H_G||，

其中I为输入原始图像，G为恢复的图像，H_I为原始图像生成的潜变量(低维向量)，H_G为恢复图像生成的潜变量，

其中L_reg为R1正则化损失，

Δlog its为判决器输出的变化量，ΔI为输入原始图像的变化量；

β、γ为损失权重。

优选的，β＝6，γ＝0.1。

本发明的有益效果：

本发明综合了自编码器，生成对抗网络的优点，可利用海量的诊断数据用于模型训练，无需人工标注。

具体来说，本发明包含了一个自编码器，一个判别器，一个损失计算模块。在训练阶段，自编码器将待评价的图像编码为低维向量，由于生成的低维向量维度远远小于原始图像，因此图像中的大部分信息都已经丢失了，然后再尝试从低维向量中解码(恢复)出原图像，因为很多信息已经丢失了，所以解码器需要学习到正确的先验信息才能准确的恢复出原图；判决器用于判断图像是真实的图像还是解码恢复出来的图像，当模型收敛时，自编码器可以从低维向量中恢复出原始图像，判决器无法区分出是恢复出的图像还是原始图像。

在预测阶段，仅保留自编码器，由于模糊图像与清晰图像的先验不一样，而我们的解码器在学习过程中只使用了清晰图像，它学习到的先验信息也仅仅包含清晰图像的先验信息，因此解码器可以正确的恢复清晰图像，但无法正确的恢复模糊图像，并且越模糊的图像恢复后的误差越大，因此可通过比较自编码器恢复出的图像与原图像的误差来判断图像的清晰程度。

附图说明

图1为现有技术中数字病理切片示意图；

图2为现有技术中数字病理切片的局部放大图；

图3为现有技术中数字病理切片的局部放大图；

图4为本发明的模型构架图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。

本发明的模型构架如图4所示，其中的conv代表3x3的卷积，不同大小的方块表示相应属性映射的分辨率，下采样时使用步长为2的卷积，上采样时使用双线性插值。输入原始图像在自编码器中经过一系列的步长为2的卷积，生成一个低维的向量(潜变量)，然后低维向量又经过一系列的上采样及卷积操作恢复到原图大小，恢复的图像及原始图像会同时送入判决器进行训练。与此同时恢复的图像会进一步编码，再次生成一个低维的向量，这里的编码操作与前面的编码操作完全相同并且共享权重。

由于原始的生成对抗网络训练过程极不稳定，我们使用了以下方法稳定训练过程：

1、使用了R1正则化损失；

2、在编码网络及判决器中使用了谱归一化；

3、使用Hinge Loss替换原始的交叉熵损失。

本发明的模型分为训练过程与预测过程，具体步骤如下：

训练步骤：

1、使用出具过诊断报告的数字切片数据作为数据源；

2、切片在40倍倍率下裁剪为1024x1024的小图用于网络训练；

3、训练数据进行归一化，方法如下：

式(1)中，I为输入图像，μ为图像的均值，σ为图像的方差。

4、图像进行随机的上下翻转，随机左右翻转及随机旋转；

5、将多个图像组成一个小批次，送入网络进行前向传播(一个批次的大小为32)；

6、计算损失；

7、计算损失对各个参数的梯度值，并使用相应的梯度值更新参数，更新参数时判决器的学习率为5e^-5，自编码器的学习率为1e^-5；

8、重复上述步骤直到网络收敛(约40万次)。

预测步骤：

1、待预测的切片在40倍倍率下裁剪为1024x 1024的小图；

2、使用式(1)将预测数据进行归一化。

3、将图像送入自编码器生成恢复图像；

4、计算恢复图像与原始图像的误差，计算方法如下：

其中I为输入的原始图像，G为恢复的图像。

5、如果Δ≤0.1，那么原图为清晰的图像；如果0.1<Δ≤0.35，那么原图为一般模糊图像；如果0.35<Δ≤0.65，那么原图为模糊图像，如果0.65<Δ那么原图为特别模糊图像。

损失函数：

训练网络使用的损失函数定义如下：

L＝L_adv+βL_ae+γL_reg

其中L_adv生成对抗网络损失，进一步可分为对于判决器的损失及对于自编码器的损失，对于判决器的损失又分为对于原始图像的损失及对于恢复图像的损失，依次定义如下：

对于判决器中原始图像的损失：

L_{adv_dr}＝max(1-logits,0)

对于判决器中恢复图像的损失定义为：

L_{adv_df}＝max(1+logits,0)

对于自编码器的损失定义为：

L_{adv_g}＝max(1-logits,0)

其中logits为判决器输出。

其中L_ae为自编码器损失，相应的定义为：

L_ae＝||I-G||₁+||H_I-H_G||

其中I为输入原始图像，G为恢复的图像，H_I为原始图像生成的潜变量(低维向量)，H_G为恢复图像生成的潜变量。

其中L_reg为R1正则化损失，相应的定义如下：

Δlog its为判决器输出的变化量，ΔI为输入原始图像的变化量；

β，γ为损失权重，其中β＝6，γ＝0.1。

实验结果

实验中我们使用了来自多家医院约1000余张医理切片数据作为样本，样本在40倍下裁剪为1024x1024的小图，在这些小图中我们随机抽取80万张用于训练；我们额外收集了约200张切片数据用于测试，测试数据通过3D多层扫描的方式获得。3D多层扫描的数据扫描步进为1.5微米，共13层(相对于标准焦平面，正向偏离采集6层，反向偏离采集6层，标准对焦平面1层)，扫描的图像人工确认标准焦平面的图像是否为清晰图像。测试时测试数据被裁剪为1024x1024的小图并从其中随机抽取了10000份用于测试，结果如下：

表1模糊度评价模型测试结果

测试样本数	准确率
		10000	96.2％

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种无参考数字病理切片模糊度评价方法，其特征在于：

包括生成对抗网络，生成对抗网络包括自编码器和判决器，

自编码器中，输入原始图像I，对I进行p次下采样操作得到特征图I₁，对I₁进行q次上采样操作得到恢复图I′，对I′进行r次下采样操作得到低维特征图I₂，对比I₁和I₂计算潜变量损失，

判决器中，同时输入I和I′，判决器对图像进行s次下采样，计算I和I′的判决损失；

所述生成对抗网络的训练过程包括以下步骤：

a1、训练数据进行归一化，方法如下，

式(1)中，μ为图像的均值，σ为图像的方差，

a2、图像进行随机的上下翻转，随机左右翻转及随机旋转，

a3、将多个图像组成一个小批次，送入网络进行前向传播，

a4、计算损失，

a5、计算损失对各个参数的梯度值，并使用相应的梯度值更新参数，更新参数时判决器的学习率为5e^-5，自编码器的学习率为1e^-5，

a6、重复上述步骤直到网络收敛；

所述生成对抗网络的预测过程包括以下步骤：

b1、输入待预测图片，

b2、将预测数据进行归一化，方法与步骤a1中相同，

b3、将图像送入自编码器生成恢复图像，

b4、计算恢复图像与原始图像的误差，计算方法如下：

其中G为恢复的图像，

b5、如果Δ≤0.1，那么原图为清晰的图像；如果0.1<Δ≤0.35，那么原图为一般模糊图像；如果0.35<Δ≤0.65，那么原图为模糊图像，如果0.65<Δ那么原图为特别模糊图像。

2.根据权利要求1所述的模糊度评价方法，其特征在于：生成对抗网络中使用了R1正则化损失。

3.根据权利要求2所述的模糊度评价方法，其特征在于：在自编码器及判决器中使用谱归一化。

4.根据权利要求2所述的模糊度评价方法，其特征在于：自编码器及判决器中使用Hinge Loss。

5.根据权利要求2、3或4所述的模糊度评价方法，其特征在于：训练网络使用的损失函数定义如下：

L＝L_adv+βL_ae+γL_reg

其中L_adv生成对抗网络损失，进一步可分为对于判决器的损失及对于自编码器的损失，对于判决器的损失又分为对于原始图像的损失及对于恢复图像的损失，依次定义如下：

对于判决器中原始图像的损失：L_{adv_dr}＝max(1-logits,0)

对于判决器中恢复图像的损失定义为：L_{adv_df}＝max(1+logits,0)

对于自编码器的损失定义为：L_{adv_g}＝max(1-logits,0)

其中logits为判决器输出，

其中L_ae为自编码器损失，相应的定义为：L_ae＝||I-G||₁+||H_I-H_G||，

其中I为输入原始图像，G为恢复的图像，H_I为原始图像生成的潜变量，H_G为恢复图像生成的潜变量，

其中L_reg为R1正则化损失，

Δlog its为判决器输出的变化量，ΔI为输入原始图像的变化量；

β、γ为损失权重。

6.根据权利要求5所述的模糊度评价方法，其特征在于：β＝6，γ＝0.1。

Images