CN112001858A - 一种细胞病理图像处理的方法及系统 - Google Patents
一种细胞病理图像处理的方法及系统 Download PDFInfo
- Publication number
- CN112001858A CN112001858A CN202010794164.1A CN202010794164A CN112001858A CN 112001858 A CN112001858 A CN 112001858A CN 202010794164 A CN202010794164 A CN 202010794164A CN 112001858 A CN112001858 A CN 112001858A
- Authority
- CN
- China
- Prior art keywords
- image
- cytopathology
- training
- processing
- discriminator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 59
- 238000009826 distribution Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 230000000120 cytopathologic effect Effects 0.000 claims 2
- 238000012216 screening Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 27
- 230000007170 pathology Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000001575 pathological effect Effects 0.000 description 6
- 230000008447 perception Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种细胞病理图像处理的方法及系统，本发明实施例在实现模糊细胞病理图像清晰化时，在生成式对抗网络基础上，基于优化的生成器损失函数，以及通过添加多尺度判别器的方式，对细胞病理图像进行去模糊模型训练。通过该方法训练得到的去模糊模型对模糊细胞图像进行处理，可得到更加清晰，更加真实的细胞图像。清晰化后的细胞图像有助于细胞病理筛查。
Description
技术领域
本发明涉及图像处理技术，特别涉及一种细胞病理图像处理的方法及系统。
背景技术
在医疗筛查中，细胞病理学筛查是最常用的方法之一。随着数字化病理的发展，细胞病理图像不仅为医生的病理筛查提供重要的参考价值，而且在计算机辅助系统中，也 发挥着越来越大的作用。因此，能够获得高质量的细胞病理图像便显得尤为重要。
但是在实际场景下，由于细胞病理玻片具有一定的厚度，导致采用电子显微镜扫描 时，其对焦点往往无法做到全部覆盖，因此在实际细胞病理图像的扫描获取过程中，不可避免的会出现焦点模糊问题。再者，当医生在对细胞病理玻片进行研读时，为了便于 后续病理审核，医生会在细胞病理玻片的重点部位进行标记，而该标记信息，往往会造 成标记下的细胞病理玻片发生变化，导致后续采用电子显微镜扫描得到的细胞病理图像 出现局部区域模糊情况。除此之外，若在细胞病理玻片的制作过程以及保存过程中出现 差错，同样也会造成基于细胞病理玻片扫描得到的细胞病理图像的模糊问题。为了能够 清楚的判读细胞病理玻片的病理结果，往往需要医生对细胞病理玻片重新扫描，但是这 种方式费时费力，并且当出现该细胞病理玻片不能及时扫描的情况时，还会影响到细胞 病理玻片的最终病理判断。
因此，对基于细胞病理玻片扫描得到的细胞病理图像进行去模糊处理，不管是对医 生的后续判读，还是对计算机辅助系统的病理筛查方面都具有很重要的价值。
目前，对细胞病理图像进行去模糊处理的方式，包括非盲去模糊处理方式和盲去模 糊处理。其中，非盲去模糊处理方式是指在模糊核已知的情况下恢复出清晰的图像，因为有了模糊核这一重要的先验信息，对细胞病理图像进行去模糊处理的过程就简单很多，其主要工作时如何能在保证细节的前提下抑制噪声。但是，在一般情况下，细胞病理图 像的模糊过程是未知的，即很难得到模糊核，针对这种模糊的细胞病理图像，除了细胞 病理图像本身，没有任何信息可供参考。所以，对细胞病理图像进行盲去模糊处理，是 研究的热点问题。
如何对细胞病理图像进行盲去模糊处理是一个亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供了一种细胞病理图像处理的方法，该方法能够对细胞 病理图像进行盲去模糊处理。
本发明实施例还提供一种细胞病理图像处理的系统，该系统能够对细胞病理图像进 行盲去模糊处理。
一种细胞病理图像处理的方法，包括：
训练得到生成式对抗网络模型，所述生成式对抗网络模型包括生成器和判别器；
将细胞病理图像输入到所述生成式对抗网络模型中，进行去模糊化处理；
所述生成式对抗网络模型输出清晰化后的细胞病理图像。
较佳地，所述将细胞病理图像输入到所述生成式对抗网络模型包括：
将扫描的细胞病理图像切分为若干个图像patch块；
对切分的每个patch图像进行模糊、清晰及干扰物的三分类，得到模糊的patch图像 后，输入到生成式对抗网络模型中。
较佳地，所述训练得到生成式对抗网络模型包括：
采用高斯模糊处理方式对清晰的细胞病理图像进行模糊化处理，得到训练样本；
将训练样本输入到生成器中，所述生成器由引入了特征金字塔网络FPN结构的InceptionResnetv2网络构成，由所述生成器进行训练样本的去模糊处理训练；
将去模糊处理后的生成图像输入到所述判别器，基于去模糊处理的生成图像与清晰 的细胞病理图像之间的差异，训练该判别器。
较佳地，所述生成器中的知觉损失函数采用
L’p＝LpL1_vgg19+LpL2_vgg19+LpL1_inception+LpL2_inception；其中，
LpL1_vgg19和LpL2_vgg19为基于vgg19网络结构的知觉损失函数，分别计算的去模糊后的 生成图像和清晰的细胞病理图像在vgg19网络特征之间的L1损失和L2损失，LpL1_inception和LpL2_inception分别计算的生成图像和清晰图像在InceptionResnetv2网络特征之间的L1损失和L2损失。
较佳地，所述判别器中的对抗损失函数为：
其中E代表期望，P代表概率分布，x为真实清晰图像样例，z为模糊图像样例，D(·)代表判别器对输入图像的判别结果，G(z)为生成的去模糊图像；
所述判别器的深度为3级，每一级深度分别采用所述对抗损失函数；
所述判别器还包括判别特征匹配的算法函数，包括：
其中i代表第几 个判别器，i<＝3，I为清晰的细胞图像，
为生成的细胞图像，F代表细胞图像经所述判别器最后一层的输出结果。
一种细胞病理图像处理的系统，包括：训练单元、输入单元及处理单元，其中，
训练单元，用于训练得到生成式对抗网络模型，所述生成式对抗网络模型包括生成 器和判别器，将训练得到的生成式对抗网络模型发送给处理单元；
输入单元，用于将细胞病理图像输入到处理单元中；
处理单元，用于由生成式对抗网络模型对细胞病理图像进行去模糊化处理后，输出 清晰化后的细胞病理图像。
较佳地，所述训练单元，还用于所述训练得到生成式对抗网络模型包括：
采用高斯模糊处理方式对清晰的细胞病理图像进行模糊化处理，得到训练样本；
将训练样本输入到生成器中，所述生成器由引入了特征金字塔网络FPN结构的InceptionResnetv2网络构成，由所述生成器进行训练样本的去模糊处理训练；
将去模糊处理后的生成图像输入到所述判别器，基于去模糊处理的生成图像与清晰 的细胞病理图像之间的差异，训练该判别器。
较佳地，所述输入单元，还用于所述细胞病理图像是扫描得到的多张所述细胞病理 图像；将扫描的细胞病理图像切分为若干个patch图像，对切分的每个图像块图像进行模 糊、清晰及干扰物的三分类，得到模糊的patch图像后，输入到处理单元中，获得清晰化后的细胞病理图像。
如上所见，本发明实施例对细胞病理图像进行盲去模糊处理时，采用深度学习训练 得对抗网络进行细胞病理图像的去模糊处理，简单实现，且在对细胞病理图像进行去模糊处理后，可以得到具有较高清晰度及较高真实性的细胞病理图像。
附图说明
图1为本发明实施例提供的细胞病理图像处理的方法流程图；
图2为本发明实施例提供的对所述生成式对抗网络模型的训练阶段方法流程图；
图3为本发明实施例提供的生成器结构示意图；
图4为本发明实施例提供的多尺度判别器的网络结构示意图；
图5为本发明实施例提供的采用训练好的生成式对抗网络模型进行细胞病理图像的 去模糊处理的方法流程图；
图6为本发明实施例提供的细胞病理图像处理的系统结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。
背景技术中对细胞病理图像进行盲去模糊处理时，可以利用多张细胞病理图像进行 修复，根据不同细胞病理图像中的信息差异来得到清晰的细胞病理图像。但是，这种处理方式比较繁琐，且对细胞病理图像进行盲去模糊后得到的细胞病理图像的清晰度和真实度不佳。随着深度学习方法的发展，越来越多的盲去模糊处理算法被提出，也越来越 多的研究指向了单幅图像的去模糊处理，但在数字细胞图像的处理领域，盲去模糊问题 则鲜有提及。因此，本发明实施例对细胞病理图像进行盲去模糊处理时，采用深度学习 训练得生成式对抗网络模型进行细胞病理图像的去模糊处理，简单实现，且在对细胞病 理图像进行去模糊处理后，可以得到具有很高清晰度及很高真实性的细胞病理图像。
本发明实施例致力于将人工智能技术与医疗影像相结合，具体地说：1)对模糊的细 胞病理图像进行去模糊，可大幅降低细胞玻片的重复扫描问题；2)对细胞病理图像进行清晰化处理，可得到更高质量及更清晰化的细胞病理图像，进一步提高整张细胞病理图 像的视觉效果；3)除此之外，与使用背景技术提供的细胞病理图像相比，将清晰化后的 细胞病理图像应用于计算机辅助筛查系统中，具有更高的判读精度。
本发明实施例可用于细胞病理图像中存在的运动模糊、全局对焦模糊及局部模糊的 去模糊处理，具有较高的使用价值。同时，本发明实施例在大量可靠数据和深度学习技术支撑，训练得到的对抗网络具有优秀的泛化能力，可以为医生或人工智能的最终阅片 提供更丰富的细胞纹理，提高细胞病理图像的判读准确性。
图1为本发明实施例提供的细胞病理图像处理的方法流程图，其具体步骤包括：
步骤101、训练得到生成式对抗网络模型，所述生成式对抗网络模型包括生成器和判别器；
步骤102、将细胞病理图像输入到所述生成式对抗网络模型中，进行去模糊化处理；
步骤103、所述生成式对抗网络模型输出清晰化后的细胞病理图像。
在该方法中，所述细胞病理图像是扫描得到的多张所述细胞病理图像，所述将细胞 病理图像输入到所述生成式对抗网络模型中包括：
将扫描的细胞病理图像切分为若干个图像块(patch)图像；
对切分的每个patch图像进行模糊、清晰及干扰物的三分类，得到模糊的patch图像 后，输入到生成式对抗网络模型中。
在这里，在进行所述细胞病理图像的采集时，采用玻片自动扫描仪对细胞病理玻片 进行重叠式扫描，得到所述细胞病理图像。
在该方法中，所述生成式对抗网络模型是训练得到的，具体包括：
第一步骤，准备训练样本
使用人工合成的方式获得相应的模糊细胞病理图像和清晰细胞病理图像，来完成训 练样本的准备工作。在这里，模糊细胞病理图像由清晰细胞病理图像进行高斯模糊处理方式获取，通过设定不同的高斯模糊阈值，可以得到不同程度的模糊细胞病理图像，可 有效提高网络模型的泛化能力。
第二步骤，图像去模糊
对包括生成器和判别器的生成式对抗网络模型采用训练样本进行训练，进行图像去 模糊处理，提高去模糊结果的清晰度和真实度。
1)生成器
生成器主要用于生成模糊的细胞病理图像对应的清晰化图像；在这里，使用InceptionResnetv2网络作为该生成器的主干网络，通过在网络中引入特征金字塔网络(FPN)结构来提取多尺度特征信息，以达到更好的图像去模糊的目的。
合适的损失函数在图像去模糊任务中占有非同寻常的作用。常用的生成式对抗网络 模型的生成器损失函数由知觉损失函数和生成对抗损失函数组成，但是如果使用一般的 损失函数获得的去模糊模型，当遇到模糊程度较高的细胞病理图像时，去模糊处理后的图像容易出现明显的纸质颗粒感。为了克服这个问题，本发明实施例对已有的损失函数 进行改进(改进过程在下述详细说明)，以减弱去模糊处理后的图像中的颗粒粗糙感， 增强图像纹理细节，提升整体去模糊处理后的视觉效果。
2)判别器
判别器主要用于尽可能的区分生成图像与真实图像之间的差异，因此训练得到一个 性能优越的判别器，对于生成更佳的去模糊图像具有良好的促进作用。本发明实施例采用多尺度判别器的网络结构。
不同深度的判别器，其注重的特征细节也有所不同。网络相对于深度较浅的判别器， 其学习内容更加注重浅层局部特征；而深度较深的判别器，则更加注重图像的高级全局 特征。本发明实施例对判别器也进行优化(具体优化过程在下述详细说明)，以此达到优化去模糊结果的目的。
本发明实施例在多尺度的判别器基础上，提出了使用判别特征匹配的损失函数，通 过进一步改善判别器的优化方向，来优化最终生成的去模糊图像。
图2为本发明实施例提供的对所述生成式对抗网络模型的训练阶段方法流程图，其 具体步骤包括：
步骤201、对细胞病理图像进行采集；
在本步骤中，采用玻片自动扫描仪对细胞病理玻片的电子图像进行采集，玻片自动 扫描仪采用40倍目镜放大且有重叠式的扫描并保存细胞病理图像，其扫描范围应完全覆 盖细胞病理玻片所在范围，允许出现细胞病理玻片中的病理细胞区域外的少量空白区域；
步骤202、将采集的细胞病理图像切分为patch图像；
在本步骤中，将采集的细胞病理图像平均切分成若干个大小为512*512像素点的patch，如果细胞病理图像不能被512像素点整除，则舍弃边缘处的剩余像素点；
步骤203、针对切分的patch图像进行预处理，包括色彩矫正、噪声去除及图像归一化等，以消除不同制片方式，不同扫描设备造成的差异；
步骤204、采用所设置的深度神经网络，根据细胞模糊及清晰程度、干扰物等信息对预处理的patch图像进行三分类，得到其中的清晰patch图像；
步骤205、对清晰patch图像进行高斯模糊处理，准备相应的模糊patch图像；
步骤206、对所述生成式对抗网络模型中的生成器和判别器进行训练，在训练过程中应用到了高斯模糊的patch图像及其相应清晰patch图像；
具体地说，生成器主要用于生成模糊图像对应的清晰化图像，在这里，使用InceptionResnetv2网络作为该生成器的主干网络，并通过在网络中引入FPN结构来提取多尺度特征信息，以学习到更丰富的图像特征信息，有助于后续获得高质量的生成图像，其网络结构示意图可见图3所示，图3为本发明实施例提供的生成器结构示意图；
生成器损失函数由知觉损失函数和生成对抗损失函数组成，计算公式如下：
LG＝0.5*LP+0.006*LX+0.01*Lg_adv (公式1)
其中Lp＝LpL2_vgg19为知觉损失函数，一般借助于vgg19网络结构，将生成的去模糊图 像和对应的清晰图像分别输入到vgg19中，计算输出的各特征层之间的L2差异。
则是计算去模糊图像
和对应的清晰图像I之间的L2差异，以提供生成图像更多的颜色信息。Lg_adv为生成对抗损失函数，在这里使用RaGAN-LS的损失函数，其计算 公式如下：
其中E代表期望，P代表概率分布，x为真实清晰图像样例，z为模糊图像样例，D(·)代表判别器对输入图像的判别结果，G(z)为生成的去模糊图像。
但基于上述损失函数获得的去模糊模型，其生成的去模糊结果较为粗糙。为解决其 生成的去模糊结果较为粗糙的问题，本发明实施例在上述损失函数的知觉损失基础上进 行改进，以减弱去模糊结果的粗糙感，增强图像纹理细节，提升整体去模糊结果的知觉效果。改进的知觉损失函数如下：
L'p＝LpL1_vgg19+LpL2_vgg19+LpL1_inception+LpL2_inception (公式3)
其中LpL2_vgg19同上述定义，而LpL1_vgg19则是计算的生成图像和真实清晰图像vgg19特征 之间的L1损失，同理，LpL1_inception和LpL2_inception分别计算的InceptionResnetv2特征之间的L1 损失和L2损失。本发明实施例在原有vgg19网络的知觉损失基础上添加LpL1_vgg19函数，其 修复的去模糊图像颗粒粗糙感减弱，细节纹理更加光滑，并且通过添加InceptionResnetv2 知觉损失函数，可获得更清楚的去模糊结果；
判别器主要用于尽可能的区分生成图像与真实图像之间的差别，因而，能够拥有一 个性能优越的判别器，对于生成更好的去模糊图像具有良好的促进作用。与一般仅使用一个判别器的生成对抗网络相比，本发明实施例提出多尺度判别器的网络结构，其结构 示意图可见图4，图4为本发明实施例提供的多尺度判别器的网络结构示意图。如图所 示，对于不同深度的辨别器，其注重的细节特征也有所不同，相对较前的判别器，更加 注重浅层局部特征；而较深的判别器，则更加注重图像的高级全局特征。通过优化判别 器，以此达到优化去模糊结果的目的。
在这里使用RaGAN-LS判别器的对抗损失函数，计算公式如下：
各变量代表的函数同公式(2)。在本步骤中，共使用了3个判别器，每个判别器均需要使用上述公式(2)和公式(4)来计算相应的生成对抗损失。
除此之外，本发明实施例还在该多尺度判别器基础上，提出使用判别特征匹配的算 数函数，通过进一步改善判别器的优化方向，来优化最终生成的去模糊图像。其计算公式如下
其中i代表第几个判别器，在这里i<＝3，I为清晰的细胞图像，
为生成的细胞图像， F代表细胞图像经判别器最后一层输出的特征。
步骤207、生成式对抗网络模型训练结束。
图5为本发明实施例提供的采用训练好的生成式对抗网络模型进行细胞病理图像的 去模糊处理的方法流程图，其具体步骤包括：
步骤501、对细胞病理图像进行采集；
在本步骤中，采用玻片自动扫描仪对细胞病理玻片的电子图像进行采集，玻片自动 扫描仪采用40倍目镜放大且有重叠式的扫描并保存细胞病理图像，其扫描范围应完全覆 盖细胞病理玻片所在范围，允许出现细胞病理玻片中的病理细胞区域外的少量空白区域；
步骤502、将采集的细胞病理图像切分为patch图像；
在本步骤中，将采集的细胞病理图像平均切分成若干个大小为512*512像素点的patch，如果细胞病理图像不能被512像素点整除，则舍弃边缘处的剩余像素点；
步骤503、针对切分的patch图像进行预处理，包括色彩矫正、噪声去除及图像归一化等，以消除不同制片方式，不同扫描设备造成的差异；
步骤504、采用所设置的深度神经网络，根据细胞模糊及清晰程度、干扰物等信息对预处理的patch图像进行三分类，得到其中的模糊patch图像；
步骤505、将模糊patch图像输入到训练好的生成式对抗网络模型中，进行去模糊化 处理；
步骤506、生成式对抗网络模型输出清晰化的细胞病理图像。
图6为本发明实施例提供的细胞病理图像处理的系统结构示意图，包括：训练单元、 输入单元及处理单元，其中，
训练单元，用于训练得到生成式对抗网络模型，所述生成式对抗网络模型包括生成 器和判别器，将训练得到的生成式对抗网络模型发送给处理单元；
输入单元，用于将细胞病理图像输入到处理单元中；
处理单元，用于由生成式对抗网络模型对细胞病理图像进行去模糊化处理后，输出 清晰化后的细胞病理图像。
在该系统中，所述训练单元，还用于所述训练得到生成式对抗网络模型包括：
采用高斯模糊处理方式对清晰的细胞病理图像进行模糊化处理，得到训练样本；
将训练样本输入到生成器中，所述生成器由引入了特征金字塔网络FPN结构的InceptionResnetv2网络构成，由所述生成器进行训练样本的去模糊处理训练；
将去模糊处理后的生成图像输入到所述判别器，基于去模糊处理的生成图像与清晰 的细胞病理图像之间的差异，训练该判别器。
在该系统中，所述输入单元，还用于所述细胞病理图像是扫描得到的多张所述细胞 病理图像；将扫描的细胞病理图像切分为若干个patch图像，对切分的每个图像块进行模 糊、清晰及干扰物的三分类，得到模糊的patch图像后，输入到处理单元中，获得清晰化后的细胞病理图像。
在该系统中，所述生成器采用深度3级的生成器。
可以看出，本发明实施例具有以下优点：
1)对模糊的细胞病理图像进行去模糊处理，可大幅降低细胞玻片的重复扫描问题；
2)对常见的细胞图像进行清晰化处理，可得到更高质量、更清晰化的图像，进一步提高整张细胞图像的视觉效果；
3)与使用原有的细胞病理图像相比，将清晰化后的细胞病理图像应用于计算机辅助 筛查系统中，具有更高的判读精度；
4)通过多尺度判别器，可训练出区分能力更强的判别器，进而提高生成器的最终生 成结果，即获得更好的去模糊结果；
5)基于优化后的损失函数，得到的最终去模糊图像更加光滑，细胞病理图像中的纹 理细节更加明显，有效的增强了去模糊区域的视觉感知。
因此，本发明实施例提供的细胞病理图像去模糊的方法可用于细胞病理图像中存在 的运动模糊、全局对焦模糊以及局部模糊中，具有较高的使用价值。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神 和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (8)
1.一种细胞病理图像处理的方法，其特征在于，包括：
训练得到生成式对抗网络模型，所述生成式对抗网络模型包括生成器和判别器；
将细胞病理图像输入到所述生成式对抗网络模型中，进行去模糊化处理；
所述生成式对抗网络模型输出清晰化后的细胞病理图像。
2.如权利要求1所述的方法，其特征在于，所述将细胞病理图像输入到所述生成式对抗网络模型包括：
将扫描的细胞病理图像切分为若干个图像patch块；
对切分的每个patch图像进行模糊、清晰及干扰物的三分类，得到模糊的patch图像后，输入到生成式对抗网络模型中。
3.如权利要求1所述的方法，其特征在于，所述训练得到生成式对抗网络模型包括：
采用高斯模糊处理方式对清晰的细胞病理图像进行模糊化处理，得到训练样本；
将训练样本输入到生成器中，所述生成器由引入了特征金字塔网络FPN结构的InceptionResnetv2网络构成，由所述生成器进行训练样本的去模糊处理训练；
将去模糊处理后的生成图像输入到所述判别器，基于去模糊处理的生成图像与清晰的细胞病理图像之间的差异，训练该判别器。
4.如权利要求3所述的方法，其特征在于，所述生成器中的知觉损失函数采用
L′p＝LpL1_vgg19+LpL2_vgg19+LpL1_inception+LpL2_inception；其中，
LpL1_vgg19和LpL2_vgg19为基于vgg19网络结构的知觉损失函数，分别计算的去模糊后的生成图像和清晰的细胞病理图像在vgg19网络特征之间的L1损失和L2损失，LpL1_inception和LpL2_inception分别计算的生成图像和清晰图像在InceptionResnetv2网络特征之间的L1损失和L2损失。
5.如权利要求3所述的方法，其特征在于，所述判别器中的对抗损失函数为：
所述判别器的深度为3级，每一级深度分别采用所述对抗损失函数；
所述判别器还包括判别特征匹配的算法函数，包括：
其中i代表第几个判别器，i<＝3，I为清晰的细胞图像，
为生成的细胞图像，F代表细胞图像经所述判别器最后一层的输出结果。
6.一种细胞病理图像处理的系统，其特征在于，包括：训练单元、输入单元及处理单元，其中，
训练单元，用于训练得到生成式对抗网络模型，所述生成式对抗网络模型包括生成器和判别器，将训练得到的生成式对抗网络模型发送给处理单元；
输入单元，用于将细胞病理图像输入到处理单元中；
处理单元，用于由生成式对抗网络模型对细胞病理图像进行去模糊化处理后，输出清晰化后的细胞病理图像。
7.如权利要求6所述的系统，其特征在于，所述训练单元，还用于所述训练得到生成式对抗网络模型包括：
采用高斯模糊处理方式对清晰的细胞病理图像进行模糊化处理，得到训练样本；
将训练样本输入到生成器中，所述生成器由引入了特征金字塔网络FPN结构的InceptionResnetv2网络构成，由所述生成器进行训练样本的去模糊处理训练；
将去模糊处理后的生成图像输入到所述判别器，基于去模糊处理的生成图像与清晰的细胞病理图像之间的差异，训练该判别器。
8.如权利要求6所述的系统，其特征在于，所述输入单元，还用于所述细胞病理图像是扫描得到的多张所述细胞病理图像；将扫描的细胞病理图像切分为若干个patch图像，对切分的每个图像块图像进行模糊、清晰及干扰物的三分类，得到模糊的patch图像后，输入到处理单元中，获得清晰化后的细胞病理图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010794164.1A CN112001858A (zh) | 2020-08-10 | 2020-08-10 | 一种细胞病理图像处理的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010794164.1A CN112001858A (zh) | 2020-08-10 | 2020-08-10 | 一种细胞病理图像处理的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112001858A true CN112001858A (zh) | 2020-11-27 |
Family
ID=73462907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010794164.1A Pending CN112001858A (zh) | 2020-08-10 | 2020-08-10 | 一种细胞病理图像处理的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112001858A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861958A (zh) * | 2021-02-02 | 2021-05-28 | 中国人民解放军总医院第一医学中心 | 对肾脏病免疫荧光图片进行识别分类的方法及装置 |
| CN113436104A (zh) * | 2021-06-29 | 2021-09-24 | 哈尔滨理工大学 | 一种基于特征金字塔模型的运动模糊图像去模糊方法 |
| CN117649364A (zh) * | 2024-01-30 | 2024-03-05 | 安徽大学 | 基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110736747A (zh) * | 2019-09-03 | 2020-01-31 | 深思考人工智能机器人科技（北京）有限公司 | 一种细胞液基涂片镜下定位的方法及系统 |
| CN111462010A (zh) * | 2020-03-31 | 2020-07-28 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、图像处理方法、装置及设备 |
| CN111462005A (zh) * | 2020-03-30 | 2020-07-28 | 腾讯科技（深圳）有限公司 | 处理显微图像的方法、装置、计算机设备及存储介质 |
-
2020
- 2020-08-10 CN CN202010794164.1A patent/CN112001858A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110736747A (zh) * | 2019-09-03 | 2020-01-31 | 深思考人工智能机器人科技（北京）有限公司 | 一种细胞液基涂片镜下定位的方法及系统 |
| CN111462005A (zh) * | 2020-03-30 | 2020-07-28 | 腾讯科技（深圳）有限公司 | 处理显微图像的方法、装置、计算机设备及存储介质 |
| CN111462010A (zh) * | 2020-03-31 | 2020-07-28 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、图像处理方法、装置及设备 |
Non-Patent Citations (4)
| Title |
|---|
| OREST KUPYN等: "DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks", 《ARXIV:1711.07064V4 [CS.CV]》, pages 1 - 10 * |
| OREST KUPYN等: "DeblurGAN-v2: Deblurring (Orders-of-Magnitude) Faster and Better", 《ARXIV:1908.03826V1》, pages 1 - 10 * |
| 张天骥: "基于生成对抗网络的图像超分辨研究与改", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 03, pages 138 - 1383 * |
| 陈积敏等: "基于端到端学习的图像编码研究及进展", 《激光与光电子学进展》, pages 1 - 19 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861958A (zh) * | 2021-02-02 | 2021-05-28 | 中国人民解放军总医院第一医学中心 | 对肾脏病免疫荧光图片进行识别分类的方法及装置 |
| CN113436104A (zh) * | 2021-06-29 | 2021-09-24 | 哈尔滨理工大学 | 一种基于特征金字塔模型的运动模糊图像去模糊方法 |
| CN117649364A (zh) * | 2024-01-30 | 2024-03-05 | 安徽大学 | 基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法 |
| CN117649364B (zh) * | 2024-01-30 | 2024-05-07 | 安徽大学 | 基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yeh et al. | Multi-scale deep residual learning-based single image haze removal via image decomposition | |
| CN112001858A (zh) | 一种细胞病理图像处理的方法及系统 | |
| CN113313657B (zh) | 一种用于低光照图像增强的非监督学习方法和系统 | |
| CN111612711A (zh) | 一种基于生成对抗网络改进的图片去模糊方法 | |
| CN110136075B (zh) | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 | |
| CN110853009A (zh) | 基于机器学习的视网膜病理图像分析系统 | |
| CN111882561A (zh) | 一种癌细胞识别诊断系统 | |
| CN112330613B (zh) | 一种细胞病理数字图像质量的评价方法及系统 | |
| Vijayakumar | Selective image enhancement and restoration for skin cancer identification | |
| CN114998210A (zh) | 一种基于深度学习目标检测的早产儿视网膜病变检测系统 | |
| CN114155202A (zh) | 基于特征融合和迁移学习的甲状腺结节超声图像分类方法 | |
| CN116152115B (zh) | 基于计算机视觉的垃圾图像去噪处理方法 | |
| CN114140445A (zh) | 基于重点关注区域提取的乳腺癌病理图像识别方法 | |
| CN113705501B (zh) | 一种基于图像识别技术的海上目标检测方法和系统 | |
| CN112950615B (zh) | 一种基于深度学习分割网络的甲状腺结节侵袭性预测方法 | |
| CN117151990B (zh) | 一种基于自注意力编码解码的图像去雾方法 | |
| CN111768420A (zh) | 一种细胞图像分割模型 | |
| CN115008255B (zh) | 一种用于机床的刀具磨损识别方法及装置 | |
| CN115063679B (zh) | 一种基于深度学习的路面质量评估方法 | |
| CN114067092B (zh) | 一种基于DenseNet和lightGBM的脂肪肝B超图像分类方法 | |
| CN115775226A (zh) | 基于Transformer的医学图像分类方法 | |
| CN113763404B (zh) | 基于优化标记和边缘约束分水岭算法的泡沫图像分割方法 | |
| CN113012167B (zh) | 一种细胞核与细胞质的联合分割方法 | |
| Qu et al. | LEUGAN: low-light image enhancement by unsupervised generative attentional networks | |
| CN114698398A (zh) | 图像处理方法、图像处理装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |