CN111882521A - 一种细胞涂片的图像处理方法 - Google Patents
一种细胞涂片的图像处理方法 Download PDFInfo
- Publication number
- CN111882521A CN111882521A CN202010582778.3A CN202010582778A CN111882521A CN 111882521 A CN111882521 A CN 111882521A CN 202010582778 A CN202010582778 A CN 202010582778A CN 111882521 A CN111882521 A CN 111882521A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- cell
- slice
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 72
- 238000004043 dyeing Methods 0.000 claims abstract description 41
- 238000010186 staining Methods 0.000 claims abstract description 41
- 230000008439 repair process Effects 0.000 claims abstract description 26
- 230000001575 pathological effect Effects 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims description 121
- 238000000034 method Methods 0.000 claims description 37
- 230000005859 cell recognition Effects 0.000 claims description 35
- 230000000007 visual effect Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 20
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 abstract description 2
- 210000004027 cell Anatomy 0.000 description 82
- 238000005070 sampling Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000012530 fluid Substances 0.000 description 4
- 238000006386 neutralization reaction Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000036285 pathological change Effects 0.000 description 4
- 231100000915 pathological change Toxicity 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000010827 pathological analysis Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000037273 Pathologic Processes Diseases 0.000 description 1
- 210000000270 basal cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000002380 cytological effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 238000007489 histopathology method Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000011206 morphological examination Methods 0.000 description 1
- 244000052769 pathogen Species 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 230000009054 pathological process Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
一种细胞涂片的图像处理方法，执行以下操作：获取病理图片的电子图像集，构建图像训练集，图像训练集包括细胞图像集和染色图像集，细胞图像集中包括标注有细胞的切片图像和标注无细胞的切片图像，染色图像集包括标注染色不理想的切片图像和标注染色正常的切片图像；本发明的优点在于：能够针对高分辨率的整张图像进行有细胞区域的自动化染色修复。细胞涂片的扫描图像分辨率极高，可以通过在不同放大倍率下进行图像切片，构建数据集，提高有细胞区域的识别精度。染色不理想的图像数据集包括小样本的实际染色不理想图像和通过仿真扩增出来的染色不理想图像，增大样本量，提高对染色不理想图像的识别率。
Description
技术领域
本发明属于医学图片的图像处理领域，特别是一种基细胞涂片的图像处理方法。
背景技术
为探讨器官、组织或细胞所发生的疾病过程，较多采用某种病理形态学检查的方法，检查它们所发生的病变，探讨病变发生的原因、发病机理、病变的发生过程，最后做出病理诊断。在各种疾病诊断中，病理诊断结果是公认的最准确的判别结果，是临床诊断中诊断是否患病的重要指标。
病理形态学的检查，先观察大体标本的病理改变，然后取一部分样本用病理组织学方法制成玻片样本，用显微镜进一步检查。例如，采用液基薄层细胞检测系统检测宫颈细胞并进行细胞学分类诊断。
为了显示与确定组织或细胞中的正常结构或病理过程中出现的异常物质、病原体及病变细胞等，需要分别选用相应的显示这些成分的染色方法对玻片样本进行染色，以区分不同种类的细胞。但染色过程中因人员操作、用于染色机器的性能、染色剂的效果等因素，导致样本的部分区域甚至整个样本染色不理想，较大影响了病理医生的阅片时间和识别结果，重新制作样本又将延长诊断时间，影响治疗效果。
另外，在实际检查中，较常使用扫描仪将样本玻片中的细胞信息扫描制作成数字图像进行保存并用于阅片医生的检查和标注工作，但因样本玻片、扫描仪等原因导致数字图像的部分视野出现模糊情况，视野中的细胞形态不清晰，影响后续的阅片工作。
发明内容
本发明的目的在于利用机器学习的方式对细胞涂片的图像进行处理，获得符合阅片要求的图像的处理方法。
第一方面，针对样本的部分区域甚至整个样本染色不理想的问题，提出一种将细胞染色不理想的图像自动修复染色的图像处理方法。
一种细胞涂片的图像处理方法，执行以下操作：获取病理图片的电子图像集，构建图像训练集，图像训练集包括细胞图像集和染色图像集，细胞图像集中包括标注有细胞的切片图像和标注无细胞的切片图像，染色图像集包括标注染色不理想的切片图像和标注染色正常的切片图像；
构建细胞识别神经网络，将细胞图像集输入细胞识别神经网络以训练网络，直到该细胞识别神经网络能够准确识别图像中是否有细胞；
构建图像染色修复神经网络，将染色图像集输入细胞识别神经网络以训练网络，直到该染色修复神经网络能够将输入图像以染色理想图像输出；
获取待处理的当前图像，对当前图像切片，切片方式与图像训练集的切片方式相同；将切片图像输入训练后的细胞识别神经网络，获得有细胞的切片图像；将有细胞的切片图像输入训练后的图像染色修复神经网络若当前图像具有1个以上的切片图像，则在当前图像的对应切片区域，获得染色理想的区域图像，所有切片图像处理完成后，获得染色理想的当前图像。
优选的，切片图像的尺寸为显微镜下的视野范围。
优选的，构建图像训练集包括以下步骤：
(1.1)将病理电子图像按照宽度和高度为512尺寸的视野切分图像；
(1.2)分类训练数据：对图像按照是否有细胞进行标注，无细胞的图像赋予标签为0，有细胞的图像赋予标签为1；
(1.3)颜色修复训练数据：按照染色情况对图像区分标记，染色不理想图像标记为源图像集，染色正常图像标记为目标图像集；
优选的，细胞识别神经网络使用视觉神经网络。优选的，细胞识别神经网络包括EfficientNet、ResNet、Inception、DenseNet中的一种或者几种的组合。首选EfficientNet，原因在于EfficientNet有较好分类性能的同时，占用较少的计算资源；构建分类神经网络模型并设置分类器为二分类，在(1)中的分类训练数据上训练收敛达到最优，得到区分有无细胞的分类神经网络。
优选的，图像染色修复神经网络使用生成对抗网络，生成对抗网络包括GAN、StyleGAN、Pix2pixGAN、CycleGAN中的一种或几种的组合。首选CycleGAN，原因在于CycleGAN允许训练数据不成对，降低对数据的要求，利于方法的适用性。
优选的，图像染色修复神经网络使用CycleGAN，CycleGAN有两个生成器和两个判别器，训练具体步骤如下：
1、源图像输入网络进行训练，通过判别器A计算源数据的判别器损失A，数据经过生成器A生成一个假目标图像，然后经过判别器B处理，计算假目标图像与目标图像之间的生成器损失A；
2、生成的假目标图像经过生成器B生成一个假源图像，计算假源图像与源图像之间的循环损失A；
3、目标数据输入网络进行训练，通过判别器B计算目标图像的判别器损失B，数据经过生成器B生成一个假源图像，然后经过判别器A处理，计算假源图像与源图像之间的生成器损失B；
4、生成的假源图像经过生成器A生成一个假目标图像，计算假目标与目标图像之间的循环损失B。
5、以上述的判别器损失、生成器损失和循环损失最小化为目标指导网络训练，在训练数据上收敛至最优，得到收敛的正常颜色的图像生成网络。
第二方面，针对细胞涂片的电子图像为模糊图像时，将模糊图像修正为清晰图像的图像处理方法。
一种细胞涂片的图像处理方法，执行以下操作：收集宫颈液基细胞的尺寸固定的视野图片，构建清晰度图像数据集，清晰度图像数据集包括标记清晰的图像和标记模糊的图像，每一张图像标记其视野尺寸；
构建清晰度分类神经网络，将清晰度图像数据集输入细清晰度分类神经网络，直到该清晰度分类神经网络能够准确识别图像中是清晰图像还是模糊图像；
构建图像清晰度修复神经网络，将清晰度图像集输入细胞识别神经网络以训练网络，直到该图像清晰度修复神经网络能够将输入图像以清晰图像输出；
获取待处理的当前图像，对当前图像切片，切片方式与清晰度图像数据集的切片方式相同；将切片图像输入训练后的清晰度分类神经网络，识别出模糊图像；将模糊图像输入训练后的图像清晰度修复神经网络，若当前图像具有1个以上的切片图像，则在当前图像的对应切片区域，获得清晰的区域图像，所有切片图像处理完成后，获得清晰的当前图像。
本方案训练两个不同功能的卷积神经网络模型，一个模型用于判断视野图像的清晰情况，对于模糊但可复原的情况时使用另外一个模型复原成清晰的图像，综合使用达到自动识别并复原的方法的目的。
优选的，在构建清晰度图像数据集时，将视野图片的清晰情况分为三种情况，分别是严重模糊、适度模糊、清晰，按照清晰情况的三种标准对收集的图像进行类别标注，严重模糊图像赋予标签0，适度模糊图像赋予标签1，清晰图像赋予标签2；图像的宽度和高度尺寸为512。
优选的，在构建清晰度图像数据集时，采集的模糊图像需具有细胞的基本特征，与此同时为增加训练图像的数量及多样性，在保留细胞基本特征的前提下，同一个视野需采集多张模糊图像，同一视野采集一张以上的清晰图像；图像的宽度和高度尺寸为512。
优选的，以残差卷积神经网络作为清晰度分类神经网络。优选的，清晰度分类神经网络是ResNet和Inception之一或者是ResNet和Inception的组合。首选ResNet。利用卷积操作学习清晰图片和各种模糊图像的特征，将特征输入至分类器中判断图片的模糊情况，模型经过迭代训练，可区分图片的模糊情况。
优选的，在训练图像清晰度修复神经网络之前，先对清晰度图像数据集中的清晰图像进行降采样预处理，仿真出模糊图像；降采样预处理获得的仿真模糊图像列入清晰度图像数据集的模糊图像。
优选的，降采样预处理的方法为：使用高斯金字塔方法或拉普拉斯金字塔方法对模糊图像和清晰图像进行下采样，预处理前的模糊图像记为Ib，清晰图像记为Is，对模糊图像和清晰图像各自下采样操作两次，采样后的图像分别记为Ib1、Ib2、Is1、Is2，其中对图像Ib下采样得到图像Ib1、图像Ib2，对图像Is下采样得到图像Is1、图像Is2，Ib1与Is1尺寸相同，是Is尺寸的1/2，Ib2与Is2尺寸相同，是Is尺寸的1/4。Ib与Is图像的尺寸相同，同理Ib1与Is1、Ib2与Is2的尺寸各自对应相同。Ib2和Is2的尺寸最小，Ib和Is的尺寸最大。
优选的，图像清晰度修复神经网络的构建方法包括：
1)、构建多尺度卷积神经网络，允许同时输入三种尺度的图像，(4)中同一个视野下的模糊图像和清晰图像及其各自对应的下采样操作后的图像作为网络的输入，最先处理最小尺寸的图像Ib2，经过卷积网络处理输出图像fb2，fb2经上采样处理后和Is1输入卷积网络处理输出图像fb1，然后fb1经上采样处理后和Is输入卷积网络处理输出图像fb；
2)、在网络训练过程中，需要度量网络训练的效果并用于指导网络的训练和优化，用于度量的损失函数计算方式如下：
其中，lm、sm分别对应着模型的输出图像、相同尺寸的训练图像，m为使用高斯采样的次数的索引，cm为对应的图像的通道数量，wm、hm分别对应着图像的宽度和高度。
3)、使用5.2的损失函数计算训练过程中各个尺寸的损失并指导网络的训练和优化。
组合清晰度分类神经网络和图像清晰度修复神经网络，待修复图像首先经过清晰度分类神经网络进行清晰情况判断，若图像严重模糊或清晰则进行标记并中断运行，若图像可修复则对图像进行下采样预处理，然后将预处理后的图像输入进图像清晰度修复神经网络进行复原操作，最后输出清晰图像。
第三方面，针对细胞涂片的图像可能同时出现图像模糊和染色不理想的问题，提出一种能够将输入的细胞涂片的电子图像以清晰且染色理想的状态输出的图像处理方法。
一种细胞涂片的图像处理方法，包括以下操作：构建并训练图像识别的神经网络，使用训练好的图像识别的神经网络对当前细胞图片的电子图像进行恢复处理；
构建并训练图像识别的神经网络包括：1)、获取或建立数据集：获取病理图片的电子图像集，构建图像训练集，图像训练集包括细胞图像集和染色图像集，细胞图像集中包括标注有细胞的切片图像和标注无细胞的切片图像，染色图像集包括标注染色不理想的切片图像和标注染色正常的切片图像；收集宫颈液基细胞的尺寸固定的视野图片，构建清晰度图像数据集，清晰度图像数据集包括标记清晰的图像和标记模糊的图像，每一张图像标记其视野尺寸；
2)、构建和训练细胞识别神经网络，将细胞图像集输入细胞识别神经网络以训练网络，直到该细胞识别神经网络能够准确识别图像中是否有细胞；
构建图像染色修复神经网络，将染色图像集输入细胞识别神经网络以训练网络，直到该构建清晰度分类神经网络，将清晰度图像数据集输入清晰度分类神经网络，直到该清晰度分类神经网络能够准确识别图像中是清晰图像还是模糊图像；构建图像清晰度修复神经网络，将清晰度图像集输入细胞识别神经网络以训练网络，直到该图像清晰度修复神经网络能够将输入图像以清晰图像输出；染色修复神经网络能够将输入图像以染色理想图像输出；
对电子图像进行恢复处理的操作包括：I、将切片图像输入训练后的细胞识别神经网络，获得有细胞的切片图像；II、将有细胞的切片图像输入清晰度分类神经网络，获得清晰的有细胞的切片图像，或者获知该切片图像无法修复成清晰图像；若该切片图像无法修复成清晰图像，则不再继续进行图像处理；
III、将有细胞的清晰的切片图像输入训练后的图像染色修复神经网络，获取有细胞的清晰的染色理想的图像。
若当前图像具有1个以上的切片图像，则在当前图像的对应切片区域，获得清晰的染色理想的区域图像，所有切片图像处理完成后，获得染色理想的当前图像。因此，本发明能够用于整张细胞图片电子图像的自动化修复。
切片图像的尺寸为显微镜下的视野范围。
构建上述神经网络的方法，与上述构建相应神经网络的方法相同。
本发明的优点在于：1、本发明能够针对高分辨率的整张图像进行有细胞区域的自动化染色修复。细胞涂片的扫描图像分辨率极高，可以通过在不同放大倍率下进行图像切片，构建数据集，提高有细胞区域的识别精度。染色不理想的图像数据集包括小样本的实际染色不理想图像和通过仿真扩增出来的染色不理想图像，增大样本量，提高对染色不理想图像的识别率。图像染色修复神经网络给出颜色不正常图像到颜色不正常的图像需要修复的量，使得所有待修复的图像输入网络后，能够自动恢复成染色正常的图像。
2、对于图像模糊的问题，本发明首先判断视野图像的清晰情况，在发现图像模糊但可修复时，启动清晰度修复神经网络对图像进行复原。使用清晰度分类神经网络筛选模糊图像，一方面选择有修复价值的图像，提升复原的成功率，另一方面对清晰的图像，避免重复运行清晰度修复神经网络，节省运行时间，提高运行效率，同时清晰度修复神经网络方法从大量实际图像中迭代方式学习通用特征，抛弃了传统的方法先估计模糊核再估计清晰图像的较多依赖人工特征的策略，相比较传统方法有更好的适应性。
附图说明
图1是修复染色的方法的流程图。
图2是修复图像清晰度的流程图。
具体实施方式
实施例1
一种细胞涂片的图像处理方法，执行以下操作：获取病理图片的电子图像集，构建图像训练集，图像训练集包括细胞图像集和染色图像集，细胞图像集中包括标注有细胞的切片图像和标注无细胞的切片图像，染色图像集包括标注染色不理想的切片图像和标注染色正常的切片图像；
构建细胞识别神经网络，将细胞图像集输入细胞识别神经网络以训练网络，直到该细胞识别神经网络能够准确识别图像中是否有细胞；
构建图像染色修复神经网络，将染色图像集输入细胞识别神经网络以训练网络，直到该染色修复神经网络能够将输入图像以染色理想图像输出；
获取待处理的当前图像，对当前图像切片，切片方式与图像训练集的切片方式相同；将切片图像输入训练后的细胞识别神经网络，获得有细胞的切片图像；将有细胞的切片图像输入训练后的图像染色修复神经网络，若当前图像具有1个以上的切片图像，则在当前图像的对应切片区域，获得染色理想的区域图像，所有切片图像处理完成后，获得染色理想的当前图像。
构建图像训练集包括以下步骤：
(1.1)将病理电子图像按照宽度和高度为512尺寸的视野切分图像；
(1.2)分类训练数据：对图像按照是否有细胞进行标注，无细胞的图像赋予标签为0，有细胞的图像赋予标签为1；
(1.3)颜色修复训练数据：按照染色情况对图像区分标记，染色不理想图像标记为源图像集，染色正常图像标记为目标图像集；
优选的，细胞识别神经网络使用视觉神经网络。优选的，细胞识别神经网络包括EfficientNet、ResNet、Inception、DenseNet中的一种或者几种的组合。首选EfficientNet，原因在于EfficientNet有较好分类性能的同时，占用较少的计算资源；构建分类神经网络模型并设置分类器为二分类，在(1)中的分类训练数据上训练收敛达到最优，得到区分有无细胞的分类神经网络。
优选的，图像染色修复神经网络使用生成对抗网络，生成对抗网络包括GAN、StyleGAN、Pix2pixGAN、CycleGAN中的一种或几种的组合。首选CycleGAN，原因在于CycleGAN允许训练数据不成对，降低对数据的要求，利于方法的适用性。
图像染色修复神经网络使用CycleGAN，CycleGAN有两个生成器和两个判别器，训练具体步骤如下：
1、源图像输入网络进行训练，通过判别器A计算源数据的判别器损失A，数据经过生成器A生成一个假目标图像，然后经过判别器B处理，计算假目标图像与目标图像之间的生成器损失A；
2、生成的假目标图像经过生成器B生成一个假源图像，计算假源图像与源图像之间的循环损失A；
3、目标数据输入网络进行训练，通过判别器B计算目标图像的判别器损失B，数据经过生成器B生成一个假源图像，然后经过判别器A处理，计算假源图像与源图像之间的生成器损失B；
4、生成的假源图像经过生成器A生成一个假目标图像，计算假目标与目标图像之间的循环损失B。
5、以上述的判别器损失、生成器损失和循环损失最小化为目标指导网络训练，在训练数据上收敛至最优，得到收敛的正常颜色的图像生成网络。
实施例2
本实施例与实施例1的区别之处在于：优选的，切片图像的尺寸为显微镜下的视野范围。其余均与实施例1相同。
实施例3
一种细胞涂片的图像处理方法，执行以下操作：收集宫颈液基细胞的尺寸固定的视野图片，构建清晰度图像数据集，清晰度图像数据集包括标记清晰的图像和标记模糊的图像，每一张图像标记其视野尺寸；
构建清晰度分类神经网络，将清晰度图像数据集输入细清晰度分类神经网络，直到该清晰度分类神经网络能够准确识别图像中是清晰图像还是模糊图像；
构建图像清晰度修复神经网络，将清晰度图像集输入细胞识别神经网络以训练网络，直到该图像清晰度修复神经网络能够将输入图像以清晰图像输出；
获取待处理的当前图像，对当前图像切片，切片方式与清晰度图像数据集的切片方式相同；将切片图像输入训练后的清晰度分类神经网络，识别出模糊图像；将模糊图像输入训练后的图像清晰度修复神经网络，若当前图像具有1个以上的切片图像，则在当前图像的对应切片区域，获得清晰的区域图像，所有切片图像处理完成后，获得清晰的当前图像。
本方案训练两个不同功能的卷积神经网络模型，一个模型用于判断视野图像的清晰情况，对于模糊但可复原的情况时使用另外一个模型复原成清晰的图像，综合使用达到自动识别并复原的方法的目的。
在构建清晰度图像数据集时，将视野图片的清晰情况分为三种情况，分别是严重模糊、适度模糊、清晰，按照清晰情况的三种标准对收集的图像进行类别标注，严重模糊图像赋予标签0，适度模糊图像赋予标签1，清晰图像赋予标签2；图像的宽度和高度尺寸为512。
在构建清晰度图像数据集时，采集的模糊图像需具有细胞的基本特征，与此同时为增加训练图像的数量及多样性，在保留细胞基本特征的前提下，同一个视野需采集多张模糊图像，同一视野采集一张以上的清晰图像；图像的宽度和高度尺寸为512。
以残差卷积神经网络作为清晰度分类神经网络。优选的，清晰度分类神经网络是ResNet和Inception之一或者是ResNet和Inception的组合。首选ResNet。利用卷积操作学习清晰图片和各种模糊图像的特征，将特征输入至分类器中判断图片的模糊情况，模型经过迭代训练，可区分图片的模糊情况。
在训练图像清晰度修复神经网络之前，先对清晰度图像数据集中的清晰图像进行降采样预处理，仿真出模糊图像；降采样预处理获得的仿真模糊图像列入清晰度图像数据集的模糊图像。
降采样预处理的方法为：使用高斯金字塔方法或拉普拉斯金字塔方法对模糊图像和清晰图像进行下采样，预处理前的模糊图像记为Ib，清晰图像记为Is，对模糊图像和清晰图像各自下采样操作两次，采样后的图像分别记为Ib1、Ib2、Is1、Is2，其中对图像Ib下采样得到图像Ib1、图像Ib2，对图像Is下采样得到图像Is1、图像Is2，Ib1与Is1尺寸相同，是Is尺寸的1/2，Ib2与Is2尺寸相同，是Is尺寸的1/4。Ib与Is图像的尺寸相同，同理Ib1与Is1、Ib2与Is2的尺寸各自对应相同。Ib2和Is2的尺寸最小，Ib和Is的尺寸最大。
图像清晰度修复神经网络的构建方法包括：
1)、构建多尺度卷积神经网络，允许同时输入三种尺度的图像，(4)中同一个视野下的模糊图像和清晰图像及其各自对应的下采样操作后的图像作为网络的输入，最先处理最小尺寸的图像Ib2，经过卷积网络处理输出图像fb2，fb2经上采样处理后和Is1输入卷积网络处理输出图像fb1，然后fb1经上采样处理后和Is输入卷积网络处理输出图像fb；
2)、在网络训练过程中，需要度量网络训练的效果并用于指导网络的训练和优化，用于度量的损失函数计算方式如下：
其中，lm、sm分别对应着模型的输出图像、相同尺寸的训练图像，m为使用高斯采样的次数的索引，cm为对应的图像的通道数量，wm、hm分别对应着图像的宽度和高度。
3)、使用5.2的损失函数计算训练过程中各个尺寸的损失并指导网络的训练和优化。
组合清晰度分类神经网络和图像清晰度修复神经网络，待修复图像首先经过清晰度分类神经网络进行清晰情况判断，若图像严重模糊或清晰则进行标记并中断运行，若图像可修复则对图像进行下采样预处理，然后将预处理后的图像输入进图像清晰度修复神经网络进行复原操作，最后输出清晰图像。
实施例4
一种细胞涂片的图像处理方法，包括以下操作：构建并训练图像识别的神经网络，使用训练好的图像识别的神经网络对当前细胞图片的电子图像进行恢复处理；
构建并训练图像识别的神经网络包括：1)、获取或建立数据集：获取病理图片的电子图像集，构建图像训练集，图像训练集包括细胞图像集和染色图像集，细胞图像集中包括标注有细胞的切片图像和标注无细胞的切片图像，染色图像集包括标注染色不理想的切片图像和标注染色正常的切片图像；收集宫颈液基细胞的尺寸固定的视野图片，构建清晰度图像数据集，清晰度图像数据集包括标记清晰的图像和标记模糊的图像，每一张图像标记其视野尺寸；
2)、构建和训练细胞识别神经网络，将细胞图像集输入细胞识别神经网络以训练网络，直到该细胞识别神经网络能够准确识别图像中是否有细胞；
构建图像染色修复神经网络，将染色图像集输入细胞识别神经网络以训练网络，直到该构建清晰度分类神经网络，将清晰度图像数据集输入清晰度分类神经网络，直到该清晰度分类神经网络能够准确识别图像中是清晰图像还是模糊图像；构建图像清晰度修复神经网络，将清晰度图像集输入细胞识别神经网络以训练网络，直到该图像清晰度修复神经网络能够将输入图像以清晰图像输出；染色修复神经网络能够将输入图像以染色理想图像输出；
对电子图像进行恢复处理的操作包括：I、将切片图像输入训练后的细胞识别神经网络，获得有细胞的切片图像；II、将有细胞的切片图像输入清晰度分类神经网络，获得清晰的有细胞的切片图像，或者获知该切片图像无法修复成清晰图像；若该切片图像无法修复成清晰图像，则不再继续进行图像处理；
III、将有细胞的清晰的切片图像输入训练后的图像染色修复神经网络，获取有细胞的清晰的染色理想的图像。
若当前图像具有1个以上的切片图像，则在当前图像的对应切片区域，获得清晰的染色理想的区域图像，所有切片图像处理完成后，获得染色理想的当前图像。因此，本发明能够用于整张细胞图片电子图像的自动化修复。
切片图像的尺寸为显微镜下的视野范围。
构建上述神经网络的方法，与实施例1～3中构建相应神经网络的方法相同。
以上所述仅是本发明的实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。
Claims (6)
1.一种细胞涂片的图像处理方法，执行以下操作：获取病理图片的电子图像集，构建图像训练集，图像训练集包括细胞图像集和染色图像集，细胞图像集中包括标注有细胞的切片图像和标注无细胞的切片图像，染色图像集包括标注染色不理想的切片图像和标注染色正常的切片图像；
构建细胞识别神经网络，将细胞图像集输入细胞识别神经网络以训练网络，直到该细胞识别神经网络能够准确识别图像中是否有细胞；
构建图像染色修复神经网络，将染色图像集输入细胞识别神经网络以训练网络，直到该染色修复神经网络能够将输入图像以染色理想图像输出；
获取待处理的当前图像，对当前图像切片，切片方式与图像训练集的切片方式相同；将切片图像输入训练后的细胞识别神经网络，获得有细胞的切片图像；将有细胞的切片图像输入训练后的图像染色修复神经网络，若当前图像具有1个以上的切片图像，则在当前图像的对应切片区域，获得染色理想的区域图像，所有切片图像处理完成后，获得染色理想的当前图像。
2.根据权利要求1所述的细胞涂片的图像处理方法，其特征在于，切片图像的尺寸为显微镜下的视野范围。
3.根据权利要求1所述的细胞涂片的图像处理方法，其特征在于，构建图像训练集包括以下步骤：
（1.1）将病理电子图像按照宽度和高度为512尺寸的视野切分图像；
（1.2）分类训练数据：对图像按照是否有细胞进行标注，无细胞的图像赋予标签为0，有细胞的图像赋予标签为1；
（1.3）颜色修复训练数据：按照染色情况对图像区分标记，染色不理想图像标记为源图像集，染色正常图像标记为目标图像集。
4.根据权利要求1所述的细胞涂片的图像处理方法，其特征在于，细胞识别神经网络使用视觉神经网络；
优选的，细胞识别神经网络包括EfficientNet、ResNet、Inception、DenseNet中的一种或者几种的组合；
首选EfficientNet，原因在于EfficientNet有较好分类性能的同时，占用较少的计算资源；构建分类神经网络模型并设置分类器为二分类，在（1）中的分类训练数据上训练收敛达到最优，得到区分有无细胞的分类神经网络。
5.根据权利要求1所述的细胞涂片的图像处理方法，其特征在于，图像染色修复神经网络使用生成对抗网络，生成对抗网络包括GAN、StyleGAN、Pix2pixGAN、CycleGAN中的一种或几种的组合；
首选CycleGAN，原因在于CycleGAN允许训练数据不成对，降低对数据的要求，利于方法的适用性。
6.根据权利要求1所述的细胞涂片的图像处理方法，其特征在于，图像染色修复神经网络使用CycleGAN，CycleGAN有两个生成器和两个判别器，训练具体步骤如下：
1）、源图像输入网络进行训练，通过判别器A计算源数据的判别器损失A，数据经过生成器A生成一个假目标图像，然后经过判别器B处理，计算假目标图像与目标图像之间的生成器损失A；
2）、生成的假目标图像经过生成器B生成一个假源图像，计算假源图像与源图像之间的循环损失A；
3）、目标数据输入网络进行训练，通过判别器B计算目标图像的判别器损失B，数据经过生成器B生成一个假源图像，然后经过判别器A处理，计算假源图像与源图像之间的生成器损失B；
4）、生成的假源图像经过生成器A生成一个假目标图像，计算假目标与目标图像之间的循环损失B；
5）、以上述的判别器损失、生成器损失和循环损失最小化为目标指导网络训练，在训练数据上收敛至最优，得到收敛的正常颜色的图像生成网络。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2020105700621 | 2020-06-21 | ||
| CN202010570062 | 2020-06-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111882521A true CN111882521A (zh) | 2020-11-03 |
Family
ID=73157820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010582778.3A Pending CN111882521A (zh) | 2020-06-21 | 2020-06-23 | 一种细胞涂片的图像处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111882521A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113723535A (zh) * | 2021-09-02 | 2021-11-30 | 北京大学 | 基于CycleGAN深度学习的细胞微核组学图像处理方法及存储介质 |
| CN113793336A (zh) * | 2021-11-17 | 2021-12-14 | 成都西交智汇大数据科技有限公司 | 一种检测血细胞的方法、装置、设备及可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108717554A (zh) * | 2018-05-22 | 2018-10-30 | 复旦大学附属肿瘤医院 | 一种甲状腺肿瘤病理组织切片图像分类方法及其装置 |
| CN109146820A (zh) * | 2018-08-29 | 2019-01-04 | 合肥工业大学 | 实时腔镜视像增强处理方法和系统、存储介质 |
| CN109272492A (zh) * | 2018-08-24 | 2019-01-25 | 深思考人工智能机器人科技（北京）有限公司 | 一种细胞病理涂片的处理方法及系统 |
| CN109359562A (zh) * | 2018-09-29 | 2019-02-19 | 佳都新太科技股份有限公司 | 目标识别方法、装置、目标识别设备及存储介质 |
| CN109859218A (zh) * | 2019-02-25 | 2019-06-07 | 北京邮电大学 | 病理图关键区域确定方法、装置、电子设备及存储介质 |
| CN110310253A (zh) * | 2019-05-09 | 2019-10-08 | 杭州迪英加科技有限公司 | 数字切片分类方法和装置 |
| CN110704661A (zh) * | 2019-10-12 | 2020-01-17 | 腾讯科技（深圳）有限公司 | 一种图像分类方法和装置 |
-
2020
- 2020-06-23 CN CN202010582778.3A patent/CN111882521A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108717554A (zh) * | 2018-05-22 | 2018-10-30 | 复旦大学附属肿瘤医院 | 一种甲状腺肿瘤病理组织切片图像分类方法及其装置 |
| CN109272492A (zh) * | 2018-08-24 | 2019-01-25 | 深思考人工智能机器人科技（北京）有限公司 | 一种细胞病理涂片的处理方法及系统 |
| CN109146820A (zh) * | 2018-08-29 | 2019-01-04 | 合肥工业大学 | 实时腔镜视像增强处理方法和系统、存储介质 |
| CN109359562A (zh) * | 2018-09-29 | 2019-02-19 | 佳都新太科技股份有限公司 | 目标识别方法、装置、目标识别设备及存储介质 |
| CN109859218A (zh) * | 2019-02-25 | 2019-06-07 | 北京邮电大学 | 病理图关键区域确定方法、装置、电子设备及存储介质 |
| CN110310253A (zh) * | 2019-05-09 | 2019-10-08 | 杭州迪英加科技有限公司 | 数字切片分类方法和装置 |
| CN110704661A (zh) * | 2019-10-12 | 2020-01-17 | 腾讯科技（深圳）有限公司 | 一种图像分类方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| JUNYAN ZHU等: "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks", 《IEEE》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113723535A (zh) * | 2021-09-02 | 2021-11-30 | 北京大学 | 基于CycleGAN深度学习的细胞微核组学图像处理方法及存储介质 |
| CN113793336A (zh) * | 2021-11-17 | 2021-12-14 | 成都西交智汇大数据科技有限公司 | 一种检测血细胞的方法、装置、设备及可读存储介质 |
| CN113793336B (zh) * | 2021-11-17 | 2022-03-11 | 成都西交智汇大数据科技有限公司 | 一种检测血细胞的方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108364288B (zh) | 用于乳腺癌病理图像的分割方法和装置 | |
| Kang et al. | Stainnet: a fast and robust stain normalization network | |
| CN111462076B (zh) | 一种全切片数字病理图像模糊区域检测方法及系统 | |
| Bejnordi et al. | Stain specific standardization of whole-slide histopathological images | |
| EP1563457B1 (en) | Image analysis | |
| Tomari et al. | Computer aided system for red blood cell classification in blood smear image | |
| CA2130340C (en) | Method for identifying objects using data processing techniques | |
| Kanwal et al. | The devil is in the details: Whole slide image acquisition and processing for artifacts detection, color variation, and data augmentation: A review | |
| CN108288506A (zh) | 一种基于人工智能技术的癌症病理辅助诊断方法 | |
| CN112200793B (zh) | 数字病理切片质量的实时监控方法及系统、计算机设备 | |
| CN112102229A (zh) | 一种基于深度学习的工业ct检测缺陷的智能识别方法 | |
| CN111079620B (zh) | 基于迁移学习的白细胞图像检测识别模型构建方法及应用 | |
| US11538261B2 (en) | Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy | |
| CN111476794B (zh) | 一种基于unet的宫颈病理组织分割方法 | |
| CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
| GB2466818A (en) | Cell image segmentation using binary threshold and greyscale image processing | |
| CN112365497A (zh) | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统 | |
| CN111882521A (zh) | 一种细胞涂片的图像处理方法 | |
| Kanwal et al. | Quantifying the effect of color processing on blood and damaged tissue detection in whole slide images | |
| US20210264130A1 (en) | Method and apparatus for training a neural network classifier to classify an image depicting one or more objects of a biological sample | |
| CN111210447A (zh) | 一种苏木精-伊红染色病理图像层次分割的方法及终端 | |
| CN107735838A (zh) | 在多种设置下用于医学样品的异常检测 | |
| CN112088296A (zh) | 用于检测细胞学样品中的具有至少一个异常的细胞的方法 | |
| CN113241154A (zh) | 一种人工智能血液涂片细胞标注系统及方法 | |
| Shaikh et al. | Artifact identification in digital histopathology images using few-shot learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |