CN114897823A - 一种细胞学样本图像质量控制方法、系统及存储介质 - Google Patents
一种细胞学样本图像质量控制方法、系统及存储介质 Download PDFInfo
- Publication number
- CN114897823A CN114897823A CN202210501024.XA CN202210501024A CN114897823A CN 114897823 A CN114897823 A CN 114897823A CN 202210501024 A CN202210501024 A CN 202210501024A CN 114897823 A CN114897823 A CN 114897823A
- Authority
- CN
- China
- Prior art keywords
- image
- classification
- patch block
- patch
- sample image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003908 quality control method Methods 0.000 title claims abstract description 48
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 25
- 239000012535 impurity Substances 0.000 claims description 15
- 239000008280 blood Substances 0.000 claims description 9
- 210000004369 blood Anatomy 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000007797 corrosion Effects 0.000 claims description 8
- 238000005260 corrosion Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 102100028630 Cytoskeleton-associated protein 2 Human genes 0.000 claims description 3
- 101000766848 Homo sapiens Cytoskeleton-associated protein 2 Proteins 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- WOERBKLLTSWFBY-UHFFFAOYSA-M dihydrogen phosphate;tetramethylazanium Chemical compound C[N+](C)(C)C.OP(O)([O-])=O WOERBKLLTSWFBY-UHFFFAOYSA-M 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 239000010410 layer Substances 0.000 description 7
- 239000007788 liquid Substances 0.000 description 7
- 230000007170 pathology Effects 0.000 description 6
- 230000002380 cytological effect Effects 0.000 description 5
- 230000003628 erosive effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011109 contamination Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000013553 cell monolayer Substances 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种细胞学样本图像质量控制方法、系统及存储介质，包括以下步骤：采集样本图像，对样本图像进行预处理，预处理后得到样本图像的质控范围和patch块；对patch块进行图像分类，所述图像分类通过分类网络对patch块进行粗分类，得到一类图像特征；对patch块进行目标检测，所述目标检测用于识别patch块中的二类图像特征；对patch块进行图像处理，所述图像处理用于对patch块进行特征提取；根据所述图像分类、目标检测和图像处理的结果,对patch块作二次分类；根据patch块二次分类结果，对样本图像质量作出评价。本发明所保护的一种细胞学样本图像质量控制方法、系统及存储介质，结合了图像处理、分类网络、目标检测和机器学习方法，使得质控判断结果更为准确。
Description
技术领域
本发明涉及深度学习与图像识别领域，尤其是一种细胞学样本图像质量控制方法、系统及存储介质。
背景技术
细胞病理学是将取到的细胞学样本，去除非诊断性杂质，通过细胞分离和细胞转移技术，将目标细胞转移到载玻片上制备成薄层的细胞涂片，也称为液基细胞学。液基细胞学的细胞单层分布、背景清晰、非诊断性杂质少，便于细胞病理医生观察和诊断，是细胞病理学最常用的样本制备技术。
液基细胞学传统是由细胞病理学医生在显微镜下进行人工阅片；但随着数字病理学和病理人工智能行业的发展，逐渐实现液基细胞学样本的数字化，液基细胞学数字病理图像的采集是疾病远程会诊、病理人工智能辅助诊断的应用和相关疾病的大数据收集的必要前提，但液基细胞学数字病理图像在细胞样本收集、制片、数字化扫描等过程中均可能出现人为因素导致的图像质量不合格问题，如细胞采集量过少、封片问题导致的气泡、制片过程出现的粘液覆盖和扫描失焦导致涂片空白、模糊，将制约着液基细胞学数字病理图像的使用。现有的细胞图像质量控制方式主要是人工智能图像分析技术，其最终的分析结果只能进行两分类筛选(合格和不合格)，不足以满足临床工作需要。
发明内容
有鉴于此，本发明实施例提供一种细胞学样本图像质量控制方法、系统及存储介质。
本发明的第一方面提供了一种细胞学样本图像质量控制方法，包括以下步骤：
采集样本图像，对样本图像进行预处理，预处理后得到样本图像的质控范围和patch块；
对patch块进行图像分类，所述图像分类通过分类网络对patch块进行粗分类，得到一类图像特征；
对patch块进行目标检测，所述目标检测用于识别patch块中的二类图像特征；
对patch块进行图像处理，所述图像处理用于对patch块进行特征提取；
根据所述图像分类、目标检测和图像处理的结果,对patch块作二次分类；
根据patch块二次分类结果，对样本图像质量作出评价。根据patch块二次分类结果，对样本图像质量作出评价。
进一步地，所述对样本图像进行预处理，具体包括以下步骤：
对样本图像作标准化处理，形成多层级的样本图像数据库；
对样本图像进行图像腐蚀处理和图像膨胀处理，对经图像腐蚀处理和图像膨胀处理的样本图像作阈值分割处理，得到样本图像的质控范围；
对样本图像以隔点交错的方式进行采样，得到样本图像的若干个patch块。
进一步地，在所述对样本图像作标准化处理步骤之前，还包括以下步骤：
识别所述样本图像的切片格式，所述切片格式包括.tif、.kfb、.TMAP、.sdpc、.dyq、.dyqx、.mrsx、.svs、.zyp、.ndpi。
进一步地，所述提取所述patch块的图像特征，得到一类图像特征，并根据一类图像特征对patch块作一次分类，具体包括以下步骤：
使用mobilenetv2卷积神经网络提取patch块的一类图像特征，所述一类图像特征包括空白、模糊、血液污染、破片杂质、气泡；
使用XGBoost分类器基于所述一类图像特征对patch块进行特征分类训练；
使用所述特征分类训练所得的的权重对所述patch块进行预测，得到patch块的分类概率列表，使用概率最高的一项类别作为patch块的分类标签。
进一步地，所述对patch块进行目标检测，具体包括：
使用YOLOv5目标检测算法识别patch块中的二类图像特征；
所述二类图像特征包括一类图像特征的数量、类别和位置。
进一步地，所述对patch块进行图像处理，具体包括以下步骤：
计算patch块的Laplacian方差；
统计patch块中不同大小范围的细胞数量。
进一步地，所述统计patch块中不同大小范围的细胞数量，包括以下步骤：
对patch块作背景降噪处理；
对经过背景降噪的patch块作腐蚀、膨胀、阈值分割处理；
寻找patch块中的细胞轮廓,统计不同细胞轮廓的面积。
进一步地，所述二次分类，分类规则包括：气泡数量、杂质数量、Laplacian方差。
本发明还公开了一种细胞学样本图像质量控制系统，包括以下模块；
第一模块，用于对样本图像进行预处理，预处理后得到样本图像的质控范围和patch块；
第二模块，用于对patch块进行图像分类，所述图像分类通过分类网络对patch块进行粗分类，得到一类图像特征；
第三模块，用于对patch块进行目标检测，所述目标检测用于识别patch块中的二类图像特征；
第四模块，用于对patch块进行图像处理，所述图像处理用于对patch块进行特征提取；
第五模块，用于根据所述图像分类、目标检测和图像处理的结果,对patch块作二次分类；
第六模块，用于根据patch块二次分类结果，对样本图像质量作出评价第六模块，用于根据patch块二次分类结果，对样本图像质量作出评价。
本发明还公开了一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-8中任一项所述的方法。
本发明具有如下有益效果：本发明所保护的一种细胞学样本图像质量控制方法、系统及存储介质，结合了图像处理、分类网络、目标检测和机器学习方法，使得质控判断结果更为准确。本发明相对于现有技术优化了采样策略，能将分析范围扩大到样本图像全图，又能在不影响检测速度的情况下,尽可能均匀的覆盖更多图像区域；进而通过多种图像处理任务,给出样本图像目标检测区域的多种量化特征。
本发明的附加方面和优点将在下面的描述部分中给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种细胞学样本图像质量控制方法的主要流程图；
图2是本发明一种细胞学样本图像质量控制方法中对样本图像作标准化处理所形成的层级示意图；
图3是本发明一种细胞学样本图像质量控制方法中样本图像质控范围的获取步骤流程图；
图4是本发明一种细胞学样本图像质量控制方法中在一张样本图像中获取的patch块示意图；
图5是本发明一种细胞学样本图像质量控制方法中提取patch块图像特征的流程图；
图6是本发明一种细胞学样本图像质量控制方法中一次分类的示意图，图中(a)表示正常图像、(b)表示空白图像、(c)表示模糊图像、(d)表示血液污染的图像、(e)表示盖玻片杂质图像、(f)表示气泡覆盖图像；
图7是本发明一种细胞学样本图像质量控制方法中目标检测流程示意图；
图8是本发明一种细胞学样本图像质量控制方法中Laplacian方差的计算结果示意图，图中(a)表示正常图像、(b)表示空白图像、(c)表示模糊图像、(d)表示血液污染的图像；
图9是本发明一种细胞学样本图像质量控制方法中细胞数量统计示意图，图中(a)表示经过腐蚀、膨胀、阈值分割处理后的图像，(b)表示该图像的细胞统计结果；
图10是本发明一种细胞学样本图像质量控制方法中二次分类的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本实施例描述了一种细胞学样本图像质量控制方法。主要流程参考图1，包括以下步骤：
S1:采集样本图像，对样本图像进行预处理，预处理后得到样本图像的质控范围和patch块；
S2:对patch块进行图像分类，所述图像分类通过分类网络对patch块进行粗分类，得到一类图像特征；
S3:对patch块进行目标检测，所述目标检测用于识别patch块中的二类图像特征；
S4:对patch块进行图像处理，所述图像处理用于对patch块进行特征提取；
S5:根据所述图像分类、目标检测和图像处理的结果,对patch块作二次分类；
S6:根据patch块二次分类结果，对样本图像质量作出评价。
步骤S1对样本图像进行预处理，具体包括以下步骤：
S1-1:对样本图像作标准化处理，形成多层级的样本图像数据库；
在对样本图像作标准化处理步骤之前，还包括以下步骤：
识别样本图像的切片格式，切片格式包括.tif、.kfb、.TMAP、.sdpc、.dyq、.dyqx、.mrsx、.svs、.zyp、.ndpi。将不同扫描仪的切片格式封装为金字塔状的形式，以实现层级标准化,并统一接口调用。金字塔最底层(第0层)存储的是分辨率最高扫描最清晰的图像,逐层向上进行下采样,最顶层是分辨率最低的图像。
步骤S1-1的流程图参考图2。
S1-2:对样本图像进行图像腐蚀处理和图像膨胀处理，对经图像腐蚀处理和图像膨胀处理的样本图像作阈值分割处理，得到样本图像的质控范围。
在一张完整扫描的切片中,由于切片边缘存在许多空白和细胞零散的区域.因此有必要在特征提取前先行排除这些区域,以提升整体推理速度，同时也有助于最终诊断结果的判定。
步骤S1-2的流程参考图3。经过图像腐蚀处理、图像膨胀处理、图像阈值分割后，最终得到的面积最大的白色区域即质控范围区域。
S1-3:对样本图像以隔点交错的方式进行采样，得到样本图像的若干个patch块。
通过上述步骤S1-2，本实施例得到了一个宏观的质控范围区域。但该区域并不能直接作为特征提取的输入图像。因为在特征提取时，输入图片的分辨率越高,算法的结果越准确。而由于病理切片非常大,因此有必要在特征提取之前将切片切分为较小的patch块,以有效利用特征提取设备的内存和显存完成特征提取工作。
作为一个实施例，步骤S1-3的patch块示意图参考图4，本实施例将得到的最顶层的质控区域映射到分辨率最高的第0层,然后通过相邻横向和纵向隔点交互交错的方式采样，采集大小设定为为224x224，经验证该采集大小可有效表示质控范围的整体信息。
步骤S2:对patch块进行图像分类，所述图像分类通过分类网络对patch块进行粗分类，得到一类图像特征，具体包括以下步骤：
S2-1:使用mobilenetv2卷积神经网络提取patch块的一类图像特征，一类图像特征包括空白、模糊、血液污染、破片杂质、气泡；
S2-2:使用XGBoost分类器基于一类图像特征对patch块进行特征分类训练；
S2-3:使用特征分类训练所得的的权重对patch块进行预测，得到patch块的分类概率列表，使用概率最高的一项类别作为patch块的分类标签。
步骤S2中提取patch块图像特征的流程图参考图5。
特征提取网络的输出分类包括正常图像、空白图像、模糊图像、(血液污染的图像、(盖玻片杂质图像和气泡覆盖图像，具体示意图参考图6。
步骤S3:对patch块进行目标检测，所述目标检测用于识别patch块中的二类图像特征，具体包括：
使用YOLOv5目标检测算法识别patch块中的二类图像特征；二类图像特征包括一类图像特征的数量、类别和位置。由于切片的来源及制作方式各异,定义的类别特征之间可能存在相互干扰,单纯的分类任务不能准确的判断所有类别,引入目标检测算法可以更好的识别如气泡、血液覆盖、炎症等特征。步骤S3的具体流程参考图7。
步骤S4:对patch块进行图像处理，所述图像处理用于对patch块进行特征提取，可以通过OpenCV等图像处理工具给出patch图像的某些量化数据,如Laplacian方差、不同大小范围的细胞数量等,来辅助patch最终分类；具体包括以下步骤：
S4-1:计算patch块的Laplacian方差；
图像处理库OpenCV中的Laplacian方法可以用来衡量图像的二阶导,能够强调图像中密度快速变化的区域,即图像边界。细胞切片中的正常图片边界比较清晰,因此Laplacian方差会比较大；而在空白和模糊图像中包含的边界信息很少,因此Laplacian方差比较小；对于血液覆盖的图像,由于存在很多丝状的絮状物,其Laplacian方差比正常图像的更大。
作为一个实施例，Laplacian方差的计算结果参考图8，图中(a)表示正常图像，Laplacian方差为114；(b)表示空白图像，Laplacian方差为1；(c)表示模糊图像，Laplacian方差为5；(d)表示血液污染的图像，Laplacian方差为777。
S4-2:统计patch块中不同大小范围的细胞数量；统计patch块中不同大小范围的细胞数量，包括以下步骤：
对输入的patch图像做背景降噪处理,减少背景中的杂质对细胞计数的干扰；将图像中的杂质分割出来,然后用背景色填充原图像。这一过程主要通过OpenCV中的connectedComponentsWithStats方法实现。
将上述经过背景降噪后的图像做腐蚀、膨胀、阈值分割处理,以便尽可能使细胞与细胞之间分离开,便于后续细胞数量统计。
利用OpenCV中的findContours方法来寻找图像的细胞轮廓,统计不同轮廓的面积，得到不同大小范围的细胞数量。
作为一个实施例，步骤S4统计细胞数量的结果参考图9，图中(a)表示经过腐蚀、膨胀、阈值分割处理后的图像，(b)表示该图像的细胞统计结果。可以看出该细胞图像中小型细胞有7个、中型细胞有6个、大型细胞有5个。
步骤S5:根据所述图像分类、目标检测和图像处理的结果,对patch块作二次分类，流程图参考图10。步骤S5的具体分类规则包括：气泡数量、杂质数量、Laplacian方差。
注:
气泡数量少:单张patch图像检测出来的气泡(检测概率大于0.99)数量小于10个；
气泡数量多:单张patch图像检测出来的气泡(检测概率大于0.99)数量大于10个；
玻璃状杂质少:单张patch图像检测出来的玻璃状杂质(检测概率大于0.99)数量小于20个；
玻璃状杂质多:单张patch图像检测出来的玻璃状杂质(检测概率大于0.99)数量大于20个；
Laplacian方差偏小:patch图像Laplacian方差小于50；
Laplacian方差正常:patch图像Laplacian方差大于50,小于200；
Laplacian方差偏大:patch图像Laplacian方差大于200；
细胞数量正常:大细胞数量>＝2,或者中等细胞数量>＝4,或者小细胞数量>＝10。
步骤S6：根据patch块二次分类结果，对样本图像质量作出评价。将每个patch的分类结果进行汇总,计算每个分类在整张大图中的占比,即可得到该切片中每一类别的分布情况。
对于不合格切片，本实施例主要根据以下规则判断：若气泡区域占比超过20％,或者模糊区域占比超过30％,或者血液区域占比超过30％,或者玻璃状杂质超过30％,或者空白区域占比超过40％,则该切片可判为不合格。
本发明还公开了一种细胞学样本图像质量控制系统，包括以下模块；
第一模块，用于对样本图像进行预处理，预处理后得到样本图像的质控范围和patch块；
第二模块，用于对patch块进行图像分类，所述图像分类通过分类网络对patch块进行粗分类，得到一类图像特征；
第三模块，用于对patch块进行目标检测，所述目标检测用于识别patch块中的二类图像特征；
第四模块，用于对patch块进行图像处理，所述图像处理用于对patch块进行特征提取；
第五模块，用于根据所述图像分类、目标检测和图像处理的结果,对patch块作二次分类；
第六模块，用于根据patch块二次分类结果，对样本图像质量作出评价第六模块，用于根据patch块二次分类结果，对样本图像质量作出评价。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种细胞学样本图像质量控制方法，其特征在于，包括以下步骤：
采集样本图像，对样本图像进行预处理，预处理后得到样本图像的质控范围和patch块；
对patch块进行图像分类，所述图像分类通过分类网络对patch块进行粗分类，得到一类图像特征；
对patch块进行目标检测，所述目标检测用于识别patch块中的二类图像特征；
对patch块进行图像处理，所述图像处理用于对patch块进行特征提取；
根据所述图像分类、目标检测和图像处理的结果,对patch块作二次分类；
根据patch块二次分类结果，对样本图像质量作出评价。
2.根据权利要求1所述的一种细胞学样本图像质量控制方法，其特征在于，所述对样本图像进行预处理，具体包括以下步骤：
对样本图像作标准化处理，形成多层级的样本图像数据库；
对样本图像进行图像腐蚀处理和图像膨胀处理，对经图像腐蚀处理和图像膨胀处理的样本图像作阈值分割处理，得到样本图像的质控范围；
对样本图像以隔点交错的方式进行采样，得到样本图像的若干个patch块。
3.根据权利要求2所述的一种细胞学样本图像质量控制方法，其特征在于，在所述对样本图像作标准化处理步骤之前，还包括以下步骤：
识别所述样本图像的切片格式，所述切片格式包括.tif、.kfb、.TMAP、.sdpc、.dyq、.dyqx、.mrsx、.svs、.zyp、.ndpi。
4.根据权利要求1所述的一种细胞学样本图像质量控制方法，其特征在于，所述提取所述patch块的图像特征，得到一类图像特征，并根据一类图像特征对patch块作一次分类，具体包括以下步骤：
使用mobilenetv2卷积神经网络提取patch块的一类图像特征，所述一类图像特征包括空白、模糊、血液污染、破片杂质、气泡；
使用XGBoost分类器基于所述一类图像特征对patch块进行特征分类训练；
使用所述特征分类训练所得的的权重对所述patch块进行预测，得到patch块的分类概率列表，使用概率最高的一项类别作为patch块的分类标签。
5.根据权利要求1所述的一种细胞学样本图像质量控制方法，其特征在于，所述对patch块进行目标检测，具体包括：
使用YOLOv5目标检测算法识别patch块中的二类图像特征；
所述二类图像特征包括一类图像特征的数量、类别和位置。
6.根据权利要求1所述的一种细胞学样本图像质量控制方法，其特征在于，所述对patch块进行图像处理，具体包括以下步骤：
计算patch块的Laplacian方差；
统计patch块中不同大小范围的细胞数量。
7.根据权利要求6所述的一种细胞学样本图像质量控制方法，其特征在于，所述统计patch块中不同大小范围的细胞数量，包括以下步骤：
对patch块作背景降噪处理；
对经过背景降噪的patch块作腐蚀、膨胀、阈值分割处理；
寻找patch块中的细胞轮廓,统计不同细胞轮廓的面积。
8.根据权利要求1所述的一种细胞学样本图像质量控制方法，其特征在于，所述二次分类，分类规则包括：气泡数量、杂质数量、Laplacian方差。
9.一种细胞学样本图像质量控制系统，其特征在于，包括以下模块；
第一模块，用于对样本图像进行预处理，预处理后得到样本图像的质控范围和patch块；
第二模块，用于对patch块进行图像分类，所述图像分类通过分类网络对patch块进行粗分类，得到一类图像特征；
第三模块，用于对patch块进行目标检测，所述目标检测用于识别patch块中的二类图像特征；
第四模块，用于对patch块进行图像处理，所述图像处理用于对patch块进行特征提取；
第五模块，用于根据所述图像分类、目标检测和图像处理的结果,对patch块作二次分类；
第六模块，用于根据patch块二次分类结果，对样本图像质量作出评价第六模块，用于根据patch块二次分类结果，对样本图像质量作出评价。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210501024.XA CN114897823B (zh) | 2022-05-10 | 2022-05-10 | 一种细胞学样本图像质量控制方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210501024.XA CN114897823B (zh) | 2022-05-10 | 2022-05-10 | 一种细胞学样本图像质量控制方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114897823A true CN114897823A (zh) | 2022-08-12 |
| CN114897823B CN114897823B (zh) | 2024-03-19 |
Family
ID=82722044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210501024.XA Active CN114897823B (zh) | 2022-05-10 | 2022-05-10 | 一种细胞学样本图像质量控制方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114897823B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116778482A (zh) * | 2023-08-17 | 2023-09-19 | 武汉互创联合科技有限公司 | 胚胎图像卵裂球目标检测方法、计算机设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191457A (zh) * | 2018-09-21 | 2019-01-11 | 中国人民解放军总医院 | 一种病理图像质量有效性识别方法 |
| CN110110799A (zh) * | 2019-05-13 | 2019-08-09 | 广州锟元方青医疗科技有限公司 | 细胞分类方法、装置、计算机设备和存储介质 |
| CN110376198A (zh) * | 2019-08-29 | 2019-10-25 | 广州锟元方青医疗科技有限公司 | 一种宫颈液基细胞切片质量检测系统 |
| CN112102247A (zh) * | 2020-08-18 | 2020-12-18 | 广州金域医学检验中心有限公司 | 基于机器学习的病理切片质量评价方法及相关设备 |
| CN112330613A (zh) * | 2020-10-27 | 2021-02-05 | 深思考人工智能科技(上海)有限公司 | 一种细胞病理数字图像质量的评价方法及系统 |
| CN112435243A (zh) * | 2020-11-26 | 2021-03-02 | 山东第一医科大学附属省立医院(山东省立医院) | 一种全切片数字病理图像的自动分析系统及方法 |
-
2022
- 2022-05-10 CN CN202210501024.XA patent/CN114897823B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191457A (zh) * | 2018-09-21 | 2019-01-11 | 中国人民解放军总医院 | 一种病理图像质量有效性识别方法 |
| CN110110799A (zh) * | 2019-05-13 | 2019-08-09 | 广州锟元方青医疗科技有限公司 | 细胞分类方法、装置、计算机设备和存储介质 |
| CN110376198A (zh) * | 2019-08-29 | 2019-10-25 | 广州锟元方青医疗科技有限公司 | 一种宫颈液基细胞切片质量检测系统 |
| CN112102247A (zh) * | 2020-08-18 | 2020-12-18 | 广州金域医学检验中心有限公司 | 基于机器学习的病理切片质量评价方法及相关设备 |
| CN112330613A (zh) * | 2020-10-27 | 2021-02-05 | 深思考人工智能科技(上海)有限公司 | 一种细胞病理数字图像质量的评价方法及系统 |
| CN112435243A (zh) * | 2020-11-26 | 2021-03-02 | 山东第一医科大学附属省立医院(山东省立医院) | 一种全切片数字病理图像的自动分析系统及方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116778482A (zh) * | 2023-08-17 | 2023-09-19 | 武汉互创联合科技有限公司 | 胚胎图像卵裂球目标检测方法、计算机设备及存储介质 |
| CN116778482B (zh) * | 2023-08-17 | 2023-10-31 | 武汉互创联合科技有限公司 | 胚胎图像卵裂球目标检测方法、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114897823B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109191457B (zh) | 一种病理图像质量有效性识别方法 | |
| CN110376198B (zh) | 一种宫颈液基细胞切片质量检测系统 | |
| CN111462076B (zh) | 一种全切片数字病理图像模糊区域检测方法及系统 | |
| WO2021139258A1 (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| CN112380900A (zh) | 基于深度学习的子宫颈液基细胞数字图像分类方法及系统 | |
| CN111079620B (zh) | 基于迁移学习的白细胞图像检测识别模型构建方法及应用 | |
| CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
| CN113962975B (zh) | 基于梯度信息对病理玻片数字图像进行质量评估的系统 | |
| CN112819821B (zh) | 一种细胞核图像检测方法 | |
| CN111462075A (zh) | 一种全切片数字病理图像模糊区域的快速重聚焦方法及系统 | |
| CN111369526B (zh) | 基于半监督深度学习的多类型旧桥裂痕识别方法 | |
| CN115909006B (zh) | 基于卷积Transformer的乳腺组织图像分类方法及系统 | |
| CN111476794A (zh) | 一种基于unet的宫颈病理组织分割方法 | |
| CN115170518A (zh) | 基于深度学习和机器视觉的细胞检测方法及系统 | |
| CN114897823B (zh) | 一种细胞学样本图像质量控制方法、系统及存储介质 | |
| CN116385374A (zh) | 基于卷积神经网络的细胞计数方法 | |
| CN114972202A (zh) | 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法 | |
| CN112927215A (zh) | 一种消化道活检病理切片自动分析方法 | |
| CN117252813A (zh) | 基于深度学习的宫颈液基细胞检测与识别方法及系统 | |
| CN110889418A (zh) | 一种气体轮廓识别方法 | |
| CN113012167B (zh) | 一种细胞核与细胞质的联合分割方法 | |
| CN111968136A (zh) | 一种煤岩显微图像分析方法及分析系统 | |
| CN111783571A (zh) | 一种宫颈细胞自动分类模型建立及宫颈细胞自动分类方法 | |
| CN113313678A (zh) | 一种基于多尺度特征融合的精子形态学自动分析方法 | |
| CN117496276B (zh) | 肺癌细胞形态学分析、识别方法及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |