CN112200793A - 数字病理切片质量的实时监控方法及系统、计算机设备 - Google Patents
数字病理切片质量的实时监控方法及系统、计算机设备 Download PDFInfo
- Publication number
- CN112200793A CN112200793A CN202011130585.0A CN202011130585A CN112200793A CN 112200793 A CN112200793 A CN 112200793A CN 202011130585 A CN202011130585 A CN 202011130585A CN 112200793 A CN112200793 A CN 112200793A
- Authority
- CN
- China
- Prior art keywords
- microscopic image
- local microscopic
- neural network
- pathological section
- convolution neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012544 monitoring process Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 61
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 claims description 67
- 238000013527 convolutional neural network Methods 0.000 claims description 36
- 238000004043 dyeing Methods 0.000 claims description 26
- 230000008439 repair process Effects 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000010186 staining Methods 0.000 claims description 3
- 238000004195 computer-aided diagnosis Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 abstract description 5
- 238000010827 pathological analysis Methods 0.000 abstract description 4
- 210000004027 cell Anatomy 0.000 description 25
- 238000004458 analytical method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 239000012535 impurity Substances 0.000 description 2
- 238000001000 micrograph Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种数字病理切片质量的实时监控方法及系统、计算机设备，该方法通过构建的质量检测模型可全自动实时对样本玻片各个视野局部显微图像的清晰度、异常状况、染色状况及有效细胞数量进行检测，在可控的范围内进行显微图像模糊修复和染色修复，并获得全玻片数字病理切片的有效细胞总量，实现数字病理切片全方位质量监控。本发明提供的方法可嵌入在病理切片扫描仪中，实现快速、稳定、全自动、大批量玻片样本扫描，在样本玻片各个视野依次扫描过程中对获得的局部显微图像进行质量检测，质量检测合格的图像经过病理切片扫描仪无缝拼接生成全视野、高分辨率的数字切片图像，最后通过计算机辅助诊断系统进行病理诊断或病理医生进行人工阅片。
Description
技术领域
本发明涉及数字图像处理技术领域，尤其是一种数字病理切片质量的实时监控方法及系统、计算机设备。
背景技术
近年来，随着病理学和计算机技术的快速发展，数字病理切片广泛应用于临床诊断和病理学研究领域。利用图像处理算法和机器学习方法对数字病理切片进行处理和分析，可以辅助病理医生快速诊断，对计算机自动诊断有很大的参考价值。
数字病理切片是通过扫描仪将样本玻片转化为数字切片获得的，可通过计算机进行显示，供计算机辅助诊断系统和病理医生进行阅片分析。由于切片制作以及扫描过程存在的各种不确定因素，利用扫描仪获得的数字病理切片可能存在染色深浅不一致、有效细胞数量较少、杂质干扰、局部模糊等问题。数字病理切片质量的好坏直接影响病理医生阅片结果及计算机辅助诊断的准确性。在数字病理切片进行后续分析识别前需要对其进行质量检测，从而保证人工阅片或辅助诊断的准确性和可靠性。
现有的数字病理切片质量检测方法大多依赖人眼观察判断，但是数字病理切片的尺寸非常大，人工判断整个切片需要花费较长的时间，而且人工评价图像的标准难以统一，导致人工评价的稳定性和准确性较差。此外，考虑到不合格玻片类型多且复杂，若只通过部分切片数据进行人为的特征分析是不全面的。因此需要一种能高效检测数字病理切片质量的方法，并将这种方法应用于病理切片扫描仪，实现数字病理切片质量实时监控。
发明内容
本发明提供一种数字病理切片质量的实时监控方法及系统、计算机设备，用于克服现有技术中稳定性和准确性较差，不能全面、实时的监控数字病理切片质量等缺陷。
为实现上述目的，本发明提出一种数字病理切片质量的实时监控方法，包括：
获取样本玻片当前视野对应的局部显微图像；
将所述局部显微图像输入训练好的质量检测模型中，所述质量检测模型包括六个深度卷积神经网络；
利用第一深度卷积神经网络对局部显微图像进行清晰度检测，利用第二深度卷积神经网络对模糊可修复的局部显微图像进行模糊修复，利用第三深度卷积神经网络对清晰的局部显微图像进行异常检测，利用第四深度卷积神经网络对正常的局部显微图像进行染色效果检测，利用第五深度卷积神经网络对染色待修复的局部显微图像进行染色修复，利用第六深度卷积神经网络对染色正常的局部显微图像进行有效细胞数量检测，获得当前局部显微图像中有效细胞数量；
获取样本玻片下一视野对应的局部显微图像，并输入质量检测模型中进行检测，将检测完成后的局部显微图像与前一视野对应的局部显微图像进行拼接，直至拼接获得全玻片数字病理切片，若全玻片数字病理切片中有效细胞总数量大于等于设定的阈值，则获得的全玻片数字病理切片合格，否则不合格。
为实现上述目的，本发明还提出一种数字病理切片质量的实时监控系统，包括：
模型检测模块，用于获取样本玻片当前视野对应的局部显微图像；将所述局部显微图像输入训练好的质量检测模型中，所述质量检测模型包括六个深度卷积神经网络；利用第一深度卷积神经网络对局部显微图像进行清晰度检测，利用第二深度卷积神经网络对模糊可修复的局部显微图像进行模糊修复，利用第三深度卷积神经网络对清晰的局部显微图像进行异常检测，利用第四深度卷积神经网络对正常的局部显微图像进行染色效果检测，利用第五深度卷积神经网络对染色待修复的局部显微图像进行染色修复，利用第六深度卷积神经网络对染色正常的局部显微图像进行有效细胞数量检测，获得当前局部显微图像中有效细胞数量；获取样本玻片下一视野对应的局部显微图像，并输入质量检测模型中进行检测；
监测结果输出模块，用于将检测完成后的局部显微图像与前一视野对应的局部显微图像进行拼接，直至拼接获得全玻片数字病理切片，若全玻片数字病理切片中有效细胞总数量大于等于设定的阈值，则获得的全玻片数字病理切片合格，否则不合格。
为实现上述目的，本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
为实现上述目的，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的方法的步骤。
与现有技术相比，本发明的有益效果有：
本发明提供的数字病理切片质量的实时监控方法，通过构建的质量检测模型可全自动实时对样本玻片的各个视野局部显微图像的清晰度、异常状况、染色状况及有效细胞数量进行检测，在可控的范围内进行显微图像模糊修复和染色修复，并获得全玻片数字病理切片的有效细胞数量统计，实现数字病理切片全方位质量监控。本发明提供的实时监控方法可嵌入在病理切片扫描仪中，实现快速、稳定、全自动、大批量玻片样本扫描，在样本玻片各个视野依次扫描过程中对获得的局部显微图像进行质量检测，质量检测合格的图像经过病理切片扫描仪无缝拼接生成全视野、高分辨率的数字切片图像，最后通过计算机辅助诊断系统进行病理诊断或病理医生进行人工阅片。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明提供的数字病理切片质量的实时监控方法流程图；
图2为本发明实施例中第一深度卷积神经网络、第三深度卷积神经网络和第四深度卷积神经网络的结构图；
图3为本发明实施例中第二深度卷积神经网络和第五深度卷积神经网络的结构图；
图4为本发明实施例中第六深度卷积神经网络的结构图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
如图1所示，本发明提出一种数字病理切片质量的实时监控方法，包括：
101：获取样本玻片当前视野对应的局部显微图像；
102：将局部显微图像输入训练好的质量检测模型中，所述质量检测模型包括六个深度卷积神经网络；
103：利用第一深度卷积神经网络对局部显微图像进行清晰度检测，利用第二深度卷积神经网络对模糊可修复的局部显微图像进行模糊修复，利用第三深度卷积神经网络对清晰的局部显微图像进行异常检测，利用第四深度卷积神经网络对正常的局部显微图像进行染色效果检测，利用第五深度卷积神经网络对染色待修复的局部显微图像进行染色修复，利用第六深度卷积神经网络对染色正常的局部显微图像进行有效细胞数量检测，获得当前局部显微图像中有效细胞数量；
局部显微图像的异常检测，是检测样本玻片是否存在杂质干扰。
104：获取样本玻片下一视野对应的局部显微图像，并输入质量检测模型中进行检测，将检测完成后的局部显微图像与前一视野对应的局部显微图像进行拼接，直至拼接获得全玻片数字病理切片，若全玻片数字病理切片中有效细胞总数量大于等于设定的阈值，则获得的全玻片数字病理切片合格，否则不合格。检测为不合格的样本玻片则舍弃。
本发明采用边扫描边拼接的方式，即完成下一个视野的局部显微图像质量检测后和前面拼接好的显微图像进行拼接。
本发明提供的数字病理切片质量的实时监控方法，通过构建的质量检测模型可全自动实时对样本玻片的各个视野局部显微图像的清晰度、异常状况、染色状况及有效细胞数量进行检测，在可控的范围内进行显微图像模糊修复和染色修复，并获得全玻片数字病理切片的有效细胞数量统计，实现数字病理切片全方位质量监控。本发明提供的实时监控方法可嵌入在病理切片扫描仪中，实现快速、稳定、全自动、大批量玻片样本扫描，在样本玻片各个视野依次扫描过程中对获得的局部显微图像进行质量检测，质量检测合格的图像经过病理切片扫描仪无缝拼接生成全视野、高分辨率的数字切片图像，最后通过计算机辅助诊断系统进行病理诊断或病理医生进行人工阅片。
在其中一个实施例中，对于步骤101，利用病理切片扫描仪获取样本玻片当前视野对应的局部显微图像。
病理切片扫描仪为高通量玻片扫描影像分析系统，用于细胞或组织样本自动扫描，可进行数字病理切片质量实时监控。病理切片扫描仪的显微镜物镜的放大倍率为20X(即20倍)或40X或100X。
病理切片扫描仪按照从左至右、从上往下的顺序移动显微镜物镜或显微镜载物台，并按顺序采集不同视野下的局部显微图像。
在下一个实施例中，对于步骤103，利用第一深度卷积神经网络对局部显微图像进行清晰度检测，包括：
利用第一深度卷积神经网络对局部显微图像进行清晰度检测，若输出结果为清晰，则将局部显微图像输入第三深度卷积神经网络；
若输出结果为完全模糊，则重新获取当前视野下的局部显微图像，再将重新获得的局部显微图像输入质量检测模型中进行检测；
重新获取当前视野下的局部显微图像，即控制病理切片扫描仪重新聚焦，之后再次采集当前视野下的局部显微图像。
若输出结果为模糊可修复，则将局部显微图像输入第二深度卷积神经网络。
在另一个实施例中，对于步骤103，利用第三深度卷积神经网络对清晰的局部显微图像进行异常检测，包括：
利用第三深度卷积神经网络对清晰的局部显微图像进行异常检测，若输出结果为正常，则将局部显微图像输入第四深度卷积神经网络；
若输出结果为非正常，则舍弃当前样本玻片。在异常检测的结果为非正常时，舍弃当前样本玻片，同时终止当前次的数字病理切片质量检测过程，如此可及时去除无法进行病理诊断的数字病理切片图像，节约时间，提高效率。
在某个实施例中，对于步骤103，利用第四深度卷积神经网络对正常的局部显微图像进行染色效果检测，包括：
利用第四深度卷积神经网络对正常的局部显微图像进行染色效果检测，若输出结果为染色正常，则将局部显微图像输入第六深度卷积神经网络；
若输出结果为染色待修复，则将局部显微图像输入第五深度卷积神经网络。第五深度卷积神经网络可对染色待修复的局部显微图像进行修复，增强细胞对比度，使细胞胞浆和细胞核清晰可见。
在下一个实施例中，第一深度卷积神经网络、第三深度卷积神经网络和第四深度卷积神经网络结构相同，以VGG模型或ResNet模型为基础进行构建，本实施例中的网络结构如图2所示，依次包括：
1个卷积层(conv)，用于对局部显微图像进行特征提取，获得特征图；该卷积层的卷积核尺寸为7×7，步长为2，在该卷积层后进行最大池化操作(maxpool)，卷积核尺寸为3×3，步长为2。
8个残差学习单元，所述残差学习单元包括2个卷积层，上一个卷积层的输入端与下一个卷积层的输出端之间设有短路连接；所述残差学习单元用于对特征图进行深度特征提取，获得分类特征；本实施例中所有的短路连接均采用恒等映射，当输入和输出维度一致时，可以直接将输入加到输出上，当维度不一致时(对应的维度增加一倍时)，用补零增加维度。每个残差学习单元中的卷积层均采用3×3的卷积核，8个残差学习单元输出的特征图数量依次为64、64、128、128、256、256、512和512。最后一个残差学习单元的输出特征进行平均池化(Average pool)，采用的卷积核尺寸为7×7，步长为1，输出特征的维数为1000，即全连接层特征的大小。
输出层，包括全连接层(fc)和softmax层，用于对分类特征进行分类，输出分类结果。
本实施例中第一深度卷积神经网络、第三深度卷积神经网络和第四深度卷积神经网络的输入显微图像的大小为224×224。
在另一个实施例中，第二深度卷积神经网络和第五深度卷积神经网络结构相同，以生成式对抗网络GAN为基础进行构建，本实施例中的网络结构如图3所示，依次包括生成模型和判别模型；
生成模型包括4个反卷积层(deconv1～deconv4)，用于对局部显微图像进行上采样，获得特征图；每层反卷积层的输出端设置有ReLU激活函数，用于对反卷积层输出的特征图进行归一化处理，获得归一化图；第四个反卷积层还用于对归一化图进行转化，获得修复图像；修复图像即为清晰的局部显微图像。
判别模型包括6个卷积层(conv1～conv6)、2个全连接层(fc1和fc2)和softmax层，用于判别生成模型输出的修复图像和真实图像之间的差异，判别结果越相似说明生成模型性能越好；卷积层用于对输入的修复图像和真实图像进行下采样，获得修复图像和真实图像的特征图；全连接层用于对特征图进行分类处理，获得分类特征；softmax层用于根据所述分类特征进行分类。
本实施例中，softmax层使用LeakyReLU作为激活函数对修复图像和真实图像之间的差异进行判别。
在另一个实施例中，第六深度卷积神经网络基于Faster RCNN模型构建，本实施例中的网络结构如图4所示，依次包括：
卷积层(Conv Layers)，用于提取局部显微图像的高层特征，获得特征图(FeatureMap)；卷积层包括卷积、激活函数和池化操作。
区域候选层(RPN，Region Proposal Network)，用于对特征图进行区域划分，获得多个候选特征框(Region Proposals)；候选特征框是指包含单个待检测目标的最小包围框。
感兴趣池化层(ROI Pooling Layer)，用于对候选特征框进行归一化处理，使所有候选特征框尺寸一致，且符合分类层的输入大小；
分类计数层(Classifier Layer)，用于对归一化处理后的候选特征框进行分类，获得包含细胞的特征框并输出，同时统计所有输出特征框的细胞数量，得到当前视野下局部显微图像中有效细胞数量。
本发明还提出一种数字病理切片质量的实时监控系统，包括：
模型检测模块，用于获取样本玻片当前视野对应的局部显微图像；将所述局部显微图像输入训练好的质量检测模型中，所述质量检测模型包括六个深度卷积神经网络；利用第一深度卷积神经网络对局部显微图像进行清晰度检测，利用第二深度卷积神经网络对模糊可修复的局部显微图像进行模糊修复，利用第三深度卷积神经网络对清晰的局部显微图像进行异常检测，利用第四深度卷积神经网络对正常的局部显微图像进行染色效果检测，利用第五深度卷积神经网络对染色待修复的局部显微图像进行染色修复，利用第六深度卷积神经网络对染色正常的局部显微图像进行有效细胞数量检测，获得当前局部显微图像中有效细胞数量；获取样本玻片下一视野对应的局部显微图像，并输入质量检测模型中进行检测；
监测结果输出模块，用于将检测完成后的局部显微图像与前一视野对应的局部显微图像进行拼接，直至拼接获得全玻片数字病理切片，若全玻片数字病理切片中有效细胞总数量大于等于设定的阈值，则获得的全玻片数字病理切片合格，否则不合格。
在其中一个实施例中，模型检测模块还用于利用第一深度卷积神经网络对局部显微图像进行清晰度检测，包括：
利用第一深度卷积神经网络对局部显微图像进行清晰度检测，若输出结果为清晰，则将局部显微图像输入第三深度卷积神经网络；
若输出结果为完全模糊，则重新获取当前视野下的局部显微图像，再将重新获得的局部显微图像输入质量检测模型中进行检测；
若输出结果为模糊可修复，则将局部显微图像输入第二深度卷积神经网络。
在下一个实施例中，模型检测模块还用于利用第三深度卷积神经网络对清晰的局部显微图像进行异常检测，包括：
利用第三深度卷积神经网络对清晰的局部显微图像进行异常检测，若输出结果为正常，则将局部显微图像输入第四深度卷积神经网络；
若输出结果为非正常，则舍弃当前样本玻片。
在另一个实施例中，模型检测模块还用于利用第四深度卷积神经网络对正常的局部显微图像进行染色效果检测，包括：
利用第四深度卷积神经网络对正常的局部显微图像进行染色效果检测，若输出结果为染色正常，则将局部显微图像输入第六深度卷积神经网络；
若输出结果为染色待修复，则将局部显微图像输入第五深度卷积神经网络。
在某个实施例中，第一深度卷积神经网络、第三深度卷积神经网络和第四深度卷积神经网络结构相同，依次包括：
1个卷积层，用于对局部显微图像进行特征提取，获得特征图；
8个残差学习单元，所述残差学习单元包括2个卷积层，上一个卷积层的输入端与下一个卷积层的输出端之间设有短路连接；所述残差学习单元用于对特征图进行深度特征提取，获得分类特征；
输出层，包括全连接层和softmax层，用于对分类特征进行分类，输出分类结果。
在下一个实施例中，第二深度卷积神经网络和第五深度卷积神经网络结构相同，依次包括生成模型和判别模型；
所述生成模型包括4个反卷积层，用于对局部显微图像进行上采样，获得特征图；每层反卷积层的输出端设置有ReLU激活函数，用于对反卷积层输出的特征图进行归一化处理，获得归一化图；第四个反卷积层还用于对归一化图进行转化，获得修复图像；
所述判别模型包括6个卷积层、2个全连接层和softmax层，用于判别生成模型输出的修复图像和真实图像之间的差异；卷积层用于对输入的修复图像和真实图像进行下采样，获得修复图像和真实图像的特征图；全连接层用于对特征图进行分类处理，获得分类特征；softmax层用于根据所述分类特征进行分类。
在另一个实施例中，第六深度卷积神经网络基于Faster RCNN模型构建，依次包括：
卷积层，用于提取局部显微图像的高层特征，获得特征图；
区域候选层，用于对特征图进行区域划分，获得多个候选特征框；
感兴趣池化层，用于对候选特征框进行归一化处理；
分类计数层，用于对归一化处理后的候选特征框进行分类，获得包含细胞的特征框并输出，同时统计所有输出特征框的细胞数量，得到当前视野下局部显微图像中有效细胞数量。
本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的方法的步骤。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种数字病理切片质量的实时监控方法，其特征在于，包括：
获取样本玻片当前视野对应的局部显微图像；
将所述局部显微图像输入训练好的质量检测模型中，所述质量检测模型包括六个深度卷积神经网络；
利用第一深度卷积神经网络对局部显微图像进行清晰度检测，利用第二深度卷积神经网络对模糊可修复的局部显微图像进行模糊修复，利用第三深度卷积神经网络对清晰的局部显微图像进行异常检测，利用第四深度卷积神经网络对正常的局部显微图像进行染色效果检测，利用第五深度卷积神经网络对染色待修复的局部显微图像进行染色修复，利用第六深度卷积神经网络对染色正常的局部显微图像进行有效细胞数量检测，获得当前局部显微图像中有效细胞数量；
获取样本玻片下一视野对应的局部显微图像，并输入质量检测模型中进行检测，将检测完成后的局部显微图像与前一视野对应的局部显微图像进行拼接，直至拼接获得全玻片数字病理切片，若全玻片数字病理切片中有效细胞总数量大于等于设定的阈值，则获得的全玻片数字病理切片合格，否则不合格。
2.如权利要求1所述的数字病理切片质量的实时监控方法，其特征在于，利用第一深度卷积神经网络对局部显微图像进行清晰度检测，包括：
利用第一深度卷积神经网络对局部显微图像进行清晰度检测，若输出结果为清晰，则将局部显微图像输入第三深度卷积神经网络；
若输出结果为完全模糊，则重新获取当前视野下的局部显微图像，再将重新获得的局部显微图像输入质量检测模型中进行检测；
若输出结果为模糊可修复，则将局部显微图像输入第二深度卷积神经网络。
3.如权利要求1所述的数字病理切片质量的实时监控方法，其特征在于，利用第三深度卷积神经网络对清晰的局部显微图像进行异常检测，包括：
利用第三深度卷积神经网络对清晰的局部显微图像进行异常检测，若输出结果为正常，则将局部显微图像输入第四深度卷积神经网络；
若输出结果为非正常，则舍弃当前样本玻片。
4.如权利要求1所述的数字病理切片质量的实时监控方法，其特征在于，利用第四深度卷积神经网络对正常的局部显微图像进行染色效果检测，包括：
利用第四深度卷积神经网络对正常的局部显微图像进行染色效果检测，若输出结果为染色正常，则将局部显微图像输入第六深度卷积神经网络；
若输出结果为染色待修复，则将局部显微图像输入第五深度卷积神经网络。
5.如权利要求1～4任一项所述的数字病理切片质量的实时监控方法，其特征在于，所述第一深度卷积神经网络、第三深度卷积神经网络和第四深度卷积神经网络结构相同，依次包括：
1个卷积层，用于对局部显微图像进行特征提取，获得特征图；
8个残差学习单元，所述残差学习单元包括2个卷积层，上一个卷积层的输入端与下一个卷积层的输出端之间设有短路连接；所述残差学习单元用于对特征图进行深度特征提取，获得分类特征；
输出层，包括全连接层和softmax层，用于对分类特征进行分类，输出分类结果。
6.如权利要求1～4任一项所述的数字病理切片质量的实时监控方法，其特征在于，所述第二深度卷积神经网络和第五深度卷积神经网络结构相同，依次包括生成模型和判别模型；
所述生成模型包括4个反卷积层，用于对局部显微图像进行上采样，获得特征图；每层反卷积层的输出端设置有ReLU激活函数，用于对反卷积层输出的特征图进行归一化处理，获得归一化图；第四个反卷积层还用于对归一化图进行转化，获得修复图像；
所述判别模型包括6个卷积层、2个全连接层和softmax层，用于判别生成模型输出的修复图像和真实图像之间的差异；卷积层用于对输入的修复图像和真实图像进行下采样，获得修复图像和真实图像的特征图；全连接层用于对特征图进行分类处理，获得分类特征；softmax层用于根据所述分类特征进行分类。
7.如权利要求1～4任一项所述的数字病理切片质量的实时监控方法，其特征在于，所述第六深度卷积神经网络基于Faster RCNN模型构建，依次包括：
卷积层，用于提取局部显微图像的高层特征，获得特征图；
区域候选层，用于对特征图进行区域划分，获得多个候选特征框；
感兴趣池化层，用于对候选特征框进行归一化处理；
分类计数层，用于对归一化处理后的候选特征框进行分类，获得包含细胞的特征框并输出，同时统计所有输出特征框的细胞数量，得到当前视野下局部显微图像中有效细胞数量。。
8.一种数字病理切片质量的实时监控系统，其特征在于，包括：
模型检测模块，用于获取样本玻片当前视野对应的局部显微图像；将所述局部显微图像输入训练好的质量检测模型中，所述质量检测模型包括六个深度卷积神经网络；利用第一深度卷积神经网络对局部显微图像进行清晰度检测，利用第二深度卷积神经网络对模糊可修复的局部显微图像进行模糊修复，利用第三深度卷积神经网络对清晰的局部显微图像进行异常检测，利用第四深度卷积神经网络对正常的局部显微图像进行染色效果检测，利用第五深度卷积神经网络对染色待修复的局部显微图像进行染色修复，利用第六深度卷积神经网络对染色正常的局部显微图像进行有效细胞数量检测，获得当前局部显微图像中有效细胞数量；获取样本玻片下一视野对应的局部显微图像，并输入质量检测模型中进行检测；
监测结果输出模块，用于将检测完成后的局部显微图像与前一视野对应的局部显微图像进行拼接，直至拼接获得全玻片数字病理切片，若全玻片数字病理切片中有效细胞总数量大于等于设定的阈值，则获得的全玻片数字病理切片合格，否则不合格。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011130585.0A CN112200793B (zh) | 2020-10-21 | 2020-10-21 | 数字病理切片质量的实时监控方法及系统、计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011130585.0A CN112200793B (zh) | 2020-10-21 | 2020-10-21 | 数字病理切片质量的实时监控方法及系统、计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112200793A true CN112200793A (zh) | 2021-01-08 |
| CN112200793B CN112200793B (zh) | 2022-06-14 |
Family
ID=74009963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011130585.0A Active CN112200793B (zh) | 2020-10-21 | 2020-10-21 | 数字病理切片质量的实时监控方法及系统、计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112200793B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256573A (zh) * | 2021-05-12 | 2021-08-13 | 山东志盈医学科技有限公司 | 判定数字切片质量的方法和装置 |
| CN113378796A (zh) * | 2021-07-14 | 2021-09-10 | 合肥工业大学 | 一种基于上下文建模的宫颈细胞全切片分类方法 |
| CN113506287A (zh) * | 2021-07-27 | 2021-10-15 | 陕西师范大学 | 全视野病理切片图像分类方法、装置、设备及存储介质 |
| CN113515077A (zh) * | 2021-04-23 | 2021-10-19 | 重庆德方信息技术有限公司 | 人体细胞染色过程监控系统及方法 |
| CN114359799A (zh) * | 2021-12-29 | 2022-04-15 | 深圳乐易通医疗设备研发有限公司 | 一种病理样本的实时监测系统 |
| CN114726962A (zh) * | 2022-06-07 | 2022-07-08 | 珠海横琴圣澳云智科技有限公司 | 病理切片扫描仪工作状态的确定方法和装置 |
| CN116385443A (zh) * | 2023-06-06 | 2023-07-04 | 珠海横琴圣澳云智科技有限公司 | 基于图像的样本质量确定方法和装置 |
| CN114359799B (zh) * | 2021-12-29 | 2024-05-24 | 深圳乐易通医疗设备研发有限公司 | 一种病理样本的实时监测系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934774A (zh) * | 2019-03-20 | 2019-06-25 | 武汉千屏影像技术有限责任公司 | 一种基于图像位置上下文的图像拼接方法 |
| CN110120040A (zh) * | 2019-05-13 | 2019-08-13 | 广州锟元方青医疗科技有限公司 | 切片图像处理方法、装置、计算机设备和存储介质 |
| US20190266726A1 (en) * | 2018-02-28 | 2019-08-29 | Case Western Reserve University | Quality control for digital pathology slides |
| CN111462076A (zh) * | 2020-03-31 | 2020-07-28 | 湖南国科智瞳科技有限公司 | 一种全切片数字病理图像模糊区域检测方法及系统 |
-
2020
- 2020-10-21 CN CN202011130585.0A patent/CN112200793B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190266726A1 (en) * | 2018-02-28 | 2019-08-29 | Case Western Reserve University | Quality control for digital pathology slides |
| CN109934774A (zh) * | 2019-03-20 | 2019-06-25 | 武汉千屏影像技术有限责任公司 | 一种基于图像位置上下文的图像拼接方法 |
| CN110120040A (zh) * | 2019-05-13 | 2019-08-13 | 广州锟元方青医疗科技有限公司 | 切片图像处理方法、装置、计算机设备和存储介质 |
| CN111462076A (zh) * | 2020-03-31 | 2020-07-28 | 湖南国科智瞳科技有限公司 | 一种全切片数字病理图像模糊区域检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 王正义，柏戒，王亚平: "固定液对恒冷箱切片组织结构与染色效果的比较观察", 《重庆医科大学学报》, no. 01, 20 March 1999 (1999-03-20) * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113515077A (zh) * | 2021-04-23 | 2021-10-19 | 重庆德方信息技术有限公司 | 人体细胞染色过程监控系统及方法 |
| CN113256573A (zh) * | 2021-05-12 | 2021-08-13 | 山东志盈医学科技有限公司 | 判定数字切片质量的方法和装置 |
| CN113378796A (zh) * | 2021-07-14 | 2021-09-10 | 合肥工业大学 | 一种基于上下文建模的宫颈细胞全切片分类方法 |
| CN113378796B (zh) * | 2021-07-14 | 2022-08-19 | 合肥工业大学 | 一种基于上下文建模的宫颈细胞全切片分类方法 |
| CN113506287A (zh) * | 2021-07-27 | 2021-10-15 | 陕西师范大学 | 全视野病理切片图像分类方法、装置、设备及存储介质 |
| CN114359799A (zh) * | 2021-12-29 | 2022-04-15 | 深圳乐易通医疗设备研发有限公司 | 一种病理样本的实时监测系统 |
| CN114359799B (zh) * | 2021-12-29 | 2024-05-24 | 深圳乐易通医疗设备研发有限公司 | 一种病理样本的实时监测系统 |
| CN114726962A (zh) * | 2022-06-07 | 2022-07-08 | 珠海横琴圣澳云智科技有限公司 | 病理切片扫描仪工作状态的确定方法和装置 |
| CN114726962B (zh) * | 2022-06-07 | 2022-08-16 | 珠海横琴圣澳云智科技有限公司 | 病理切片扫描仪工作状态的确定方法和装置 |
| CN116385443A (zh) * | 2023-06-06 | 2023-07-04 | 珠海横琴圣澳云智科技有限公司 | 基于图像的样本质量确定方法和装置 |
| CN116385443B (zh) * | 2023-06-06 | 2023-08-11 | 珠海横琴圣澳云智科技有限公司 | 基于图像的样本质量确定方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112200793B (zh) | 2022-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112200793B (zh) | 数字病理切片质量的实时监控方法及系统、计算机设备 | |
| CN110376198B (zh) | 一种宫颈液基细胞切片质量检测系统 | |
| CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| EP3151192B1 (en) | Method and system for automated analysis of cell images | |
| CN111462076B (zh) | 一种全切片数字病理图像模糊区域检测方法及系统 | |
| CN111612751A (zh) | 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法 | |
| US8600143B1 (en) | Method and system for hierarchical tissue analysis and classification | |
| Ismael et al. | Medical image classification using different machine learning algorithms | |
| CN110736748A (zh) | 免疫组化核浆染色切片诊断方法及系统 | |
| CN112102229A (zh) | 一种基于深度学习的工业ct检测缺陷的智能识别方法 | |
| CN110853005A (zh) | 一种免疫组化膜染色切片诊断方法及装置 | |
| CN113962976B (zh) | 用于病理玻片数字图像的质量评估方法 | |
| CN114862838A (zh) | 基于无监督学习的缺陷检测方法及设备 | |
| CN111462075A (zh) | 一种全切片数字病理图像模糊区域的快速重聚焦方法及系统 | |
| CN112419292B (zh) | 病理图像的处理方法、装置、电子设备及存储介质 | |
| CN115909006B (zh) | 基于卷积Transformer的乳腺组织图像分类方法及系统 | |
| CN112464802B (zh) | 一种玻片样本信息的自动识别方法、装置和计算机设备 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| WO2013022688A1 (en) | Automated detection of diagnostically relevant regions in pathology images | |
| CN114399764A (zh) | 一种病理切片的扫描方法及系统 | |
| WO2022061083A1 (en) | Training end-to-end weakly supervised networks at the specimen (supra-image) level | |
| CN111882521A (zh) | 一种细胞涂片的图像处理方法 | |
| Albuquerque et al. | Quality control in digital pathology: automatic fragment detection and counting | |
| CN112669288A (zh) | 基于数字病理图像的细胞靶点表达预测方法、系统及装置 | |
| Zanotelli et al. | A flexible image segmentation pipeline for heterogeneous multiplexed tissue images based on pixel classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |