CN114937032A - 基于染色分离的病理切片颜色相关质量评估方法 - Google Patents

基于染色分离的病理切片颜色相关质量评估方法 Download PDF

Info

Publication number
CN114937032A
CN114937032A CN202210740555.4A CN202210740555A CN114937032A CN 114937032 A CN114937032 A CN 114937032A CN 202210740555 A CN202210740555 A CN 202210740555A CN 114937032 A CN114937032 A CN 114937032A
Authority
CN
China
Prior art keywords
image
pathological
channel
area
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210740555.4A
Other languages
English (en)
Inventor
葛菁
李娜
王迪
郭莹
李丽君
卢晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Shandong Computer Science Center National Super Computing Center in Jinan
Priority to CN202210740555.4A priority Critical patent/CN114937032A/zh
Publication of CN114937032A publication Critical patent/CN114937032A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本发明的基于染色分离的病理切片颜色相关质量评估方法，包括图像预处理步骤、特征提取步骤和分类步骤，图像预处理步骤包括：首先将病理切片图像中的组织区域提取出来，然后去除组织区域中影响颜色质量的红细胞区域和无组织区域，只保留经过H&E染色后着色的组织区域；特征提取步骤为对经过预处理之后的组织区域进行特征提取。本发明评估方法，首先对图像进行去除中心的空白区域、去除周边的空白区域以及去除组织区域图像中红细胞区域的处理；然后通过获取13个特征向量，然后输入机器学习模型进行分类，所获取的机器学习模型能够有效从客观条件对切片的颜色质量进行评估分类，降低人工评估的主观意向，并减少人工评估的工作量。

Description

基于染色分离的病理切片颜色相关质量评估方法
技术领域
本发明涉及一种病理切片颜色相关质量评估方法，更具体的说，尤其涉及一种基于染色分离的病理切片颜色相关质量评估方法。
背景技术
病理切片质量控制是临床病理质量控制的关键环节和基础。病理切片的质量会直接影响病理诊断的准确性，相应的医疗质量将会降低，也可能会发生医疗上的差错。要提高医疗质量，就必须重视病理切片质量控制。通常情况下，病理切片的质量评估是由人工进行执行的。每隔一定时间，对各级医院病理科的病理切片进行抽查，由病理专家统一对该批次病理切片的质量进行人工评估，并给出各个医院的病理切片制作质量。
目前这种抽查的方式在一定程度上不能代表一个医院病理切片制作的整体质量，而且人工评估会加入病理专家的主观意向，不能够真实的说明实际切片的制作质量。病理切片的颜色质量主要评价切片的规范化染色以及厚度，标准染色下的切片是红蓝鲜明的，只具有一层细胞的，而不标准的染色会出现红色淡、蓝色淡、对比差这三种情况，以及切片过厚的情况。本发明设计了一种基于染色分离的病理切片特征提取方法，并设计机器学习模型，能够有效从客观条件对切片的颜色质量进行评估分类，降低人工评估的主观意向，并减少人工评估的工作量。
发明内容
本发明为了克服上述技术问题的缺点，提供了一种基于染色分离的病理切片颜色相关质量评估方法。
本发明的基于染色分离的病理切片颜色相关质量评估方法，包括图像预处理步骤、特征提取步骤和分类步骤，其特征在于，图像预处理步骤包括：首先将病理切片图像中的组织区域提取出来，然后去除组织区域中影响颜色质量的红细胞区域和无组织区域，只保留经过H&E染色后着色的组织区域；特征提取步骤为对经过预处理之后的组织区域进行特征提取；分类步骤用于将取得的特征训练机器学习模型，从而判断切片颜色的优良。
本发明的基于染色分离的病理切片颜色相关质量评估方法，所述图像预处理步骤具体通过以下步骤来实现：
a).获取病理图像，首先获取足够数量的经过数字化扫描仪扫描后得到的H&E染色的数字病理图像，然后对获取的病理图像依次进行步骤b)至步骤f)的处理；
b).找出病理组织中心的空白区域，由于病理图像的RGB三通道中G通道能够在灰度级别显示病理组织区域，故利用病理图像的G通道将空白区域滤除，其通过步骤b-1)至步骤b-3)来实现：
b-1).获取G通道图像并处理，记初始病理图像为Image，将Image图像中的G通道提取出来形成G通道图像Image_G；将Image_G图像中灰度值为200以上的像素点记为空白点，剩余像素点则为病理组织区域；
b-2).找出Image_G图像中空白区域，根据连通区特性，找出Image_G图像的中心是否存在面积符合要求的空白区域；
b-3).处理标志图像，初始化一个与Image大小相等的灰度值标志图像Flag_center，如果步骤b-2)中存在中心空白区域，则将Flag_center图像中与中心空白区域对应位置的像素值全部置为255，即白；如果步骤b-2)中不存在中心空白区域，则标志图像Flag_center保持依旧全黑；
c).找出病理组织周边的空白区域，初始化一个与Image大小相等的灰度值标志图像Flag_Image，根据连通区特性，找到Flag_Image图像中符合病理组织区域的最大连通区，将Flag_Image图像中与最大连通区对应位置的像素点置为255，即白；Flag_Image中黑色点的区域即为组织周边的空白区域；
d).获取组织所在区域图像，将步骤c)中获取的Flag_Image图像与步骤b)中获取的Flag_center图像做差，得到去除中心空白区域和周边空白区域的组织所在区域图像，记为Image_cutwhite；
e).去除组织所在区域图像中红细胞所在位置，通过步骤e-1)至步骤e-3)来实现：
e-1).空间转换，首先将去除空白区域的病理图像Image_cutwhite由RGB空间转换为HSV空间，得到整幅图像的色调Image_H与饱和度Image_S；
e-2).滤除红细胞，然后根据红细胞的色调与饱和度特性，即红细胞的色调超过220并且红细胞的饱和度超过125，在色调图像Image_H与饱和度图像Image_S中找出红细胞所在位置并滤除；
f).获取待分析病理组织区域图像，将色调图像Image_H中红细胞所在位置滤除后，再将滤除红细胞位置的色调图像Image_H进行二值化，得到Image_H_bw；Image_H_bw中白色的点所在位置为组织区域，其相应彩色图像中对应位置的像素为待分析的病理组织区域Image_cutred。
本发明的基于染色分离的病理切片颜色相关质量评估方法，所述特征提取步骤具体通过以下步骤来实现：
1).获取作为厚切片的特征，将病理组织区域图像Image_cutred由RGB空间转换到HSV空间，以色调H、饱和度S和亮度V的均值作为厚切片的特征，分别记为色调均值mean(Image_cutred_H)、饱和度均值mean(Image_cutred_S)和亮度均值mean(Image_cutred_V)共计3个特征；
2).获取整个图像的众数特征，将病理组织区域图像Image_cutred由RGB空间转换到HSV空间，因图像的亮度信息相似，因此仅将色调与饱和度信息考虑在内；利用色调H通道和饱和度S通道下的灰度图像的直方图，分别得到图像色调H空间的众数Image_H_most、饱和度S空间的众数Image_S_most共计2个特征；
3).获取整个图像的红蓝偏离度特征，将图像Image_cutred由RGB空间转换到Lab空间；Lab空间是一个与设备无关的颜色系统，是一种基于生理特征的颜色系统，用数字化的方法来描述人的视觉感应；由于颜色的质量对比差、红淡、蓝淡均是对人的视觉感应的描述，因此采用该空间来描述红蓝的偏离度；同样不考虑图像的明暗程度，a通道的均值a_Image_mean代表偏红的程度，b通道的均值b_Image_mean代表偏蓝的程度，a通道的均值a_Image_mean、b通道的均值b_Image_mean作为红蓝偏离度的2个特征；
4).获取染色分离图像的颜色偏离度特征，通过步骤4-1)至步骤4-3)来实现：
4-1).转换为光密度值，根据公式（1）所示的朗伯-比尔定律Lambert-Beer LAW将病理组织区域图像Image_cutred的RGB彩色值转换为光密度值：
OD=﹣log10（I） （1）
式中，I为病理图像的RGB三通道归一化到0到1区间的值，OD为对应的光密度场；
4-2).获取光密度场，首先通过在OD上进行奇异值分解，得到两个最大的奇异值向量，并以这两个向量所指的方向建立坐标系平面；然后，将图像转换的OD值在新建的坐标系上做投影，得到对应于H分量和E分量的两个光密度场；
4-3).获取染色分离图像，最后将步骤4-2)获取的光密度场转换回RGB空间，即可获得基于H染色剂的细胞核图像Image_seperation_H和基于E染色剂的细胞质图像Image_seperation_E；
4-4).获取颜色偏离度特征，首先将基于H染色剂的细胞核图像Image_seperation_H和基于E染色剂的细胞质图像Image_seperation_E由RGB空间转换到各自的Lab空间，然后计算对应图像的a通道与b通道均值，基于H染色剂的细胞核图像Image_seperation_H的a通道与b通道均值分别记为a_H_mean和b_H_mean，基于E染色剂的细胞质图像Image_seperation_E的a通道与b通道均值分别记为a_E_mean和b_E_mean；最后，根据公式（2）分别计算细胞核图像和细胞质图像的颜色偏离度Color_Deviation_H与Color_Deviation_E：
Deviation=[(a-amean)2+(b-bmean)2]1/2 （2）
细胞核图像和细胞质图像的颜色偏离度Color_Deviation_H与Color_Deviation_E作为2个颜色偏离度特征；
5).获取染色分离图像的众数特征，为增加图像的可分辨能力，将基于H染色剂的细胞核图像Image_seperation_H和基于E染色剂的细胞质图像Image_seperation_E由RGB空间转换到HSV空间，分别计算HSV空间下这两个图像的H色调通道与S饱和度通道的众数，记为细胞核图像H通道的众数H_H_most、细胞核图像S通道的众数H_S_most、细胞质图像H通道的众数E_H_most和细胞质图像S通道的众数E_S_most。
本发明的基于染色分离的病理切片颜色相关质量评估方法，所述的分类步骤的实现方法为：将足够样本数量的数字病理图像将步骤b)至步骤f)以及步骤1)至步骤5)的处理后，选择其中一部分作为训练集，一部分作为测试集，剩余的作为验证集，并将测试集中的图像通过人工标注出厚切片、蓝淡、红淡、对比差以及红蓝标准切片共计五个分类标签，然后进行机器学习模型进行分类，机器学习模型的输入为病理切片经过特征提取步骤后得到的13个特征向量，输出为病理切片的颜色质量等级。
本发明的有益效果是：本发明的基于染色分离的病理切片颜色相关质量评估方法，首先对经过数字化扫描仪扫描后得到的H&E染色的数字病理图像，进行去除中心的空白区域、去除周边的空白区域以及去除组织区域图像中红细胞区域的处理；然后通过对整幅图像以及H染色与E染色分离后的图像进行相应的HSV空间、Lab空间转换，以及光密度场转换，获取整个图像的HSV空间各个通道的均值mean(Image_cutred_H)、mean(Image_cutred_S)、mean(Image_cutred_V)、H空间与S空间的众数Image_H_most、Image_S_most、Lab空间a/b通道的均值a_Image_mean/b_Image_mean，基于H染色剂的细胞核图像的HSV空间下H通道与S通道的众数H_H_most、H_S_most、Lab空间下的颜色偏离度Color_Deviation_H，基于E染色剂的细胞质图像的HSV空间下H通道与S通道的众数E_H_most、E_S_most、Lab空间下的颜色偏离度Color_Deviation_E，共计13个特征，作为特征向量，然后输入机器学习模型进行分类，所获取的机器学习模型能够有效从客观条件对切片的颜色质量进行评估分类，降低人工评估的主观意向，并减少人工评估的工作量。
附图说明
图1为本发明中灰度值为200以上的像素点记为空白点的Image_G图像和Flag_center图像；
图2为本发明中病理组织区域对应位置的像素点置为255的Image_G图像、最大连通区处理后的Image_G图像、Flag_Image与Flag_center做差后的图像；
图3为本发明中去除空白区域后的Image_cutwhite图像；
图4为本发明中Image_cutwhite图像及其对应的色调图像Image_H与饱和度图像Image_S；
图5为本发明中Image_H图像、Image_H图像的二值化图像以及滤除红细胞后的病理组织图像Image_cutred；
图6为以S饱和度均值为横坐标、以V亮度均值为纵坐标做的散点图；
图7为本发明中Image_cutred图像、及其分离后的Color_Deviation_H图像与Color_Deviation_E图像。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
本发明的目的在于能够客观的对切片颜色相关的质量进行评估，并能够代替人工进行切片颜色质量的优良判别，提出一种快速的基于染色分离的病理切片颜色的质量评估方法。本发明的技术方法包括图像预处理步骤、特征提取步骤和分类步骤。图像预处理步骤用于将切片中的组织提取出来，并去除切片组织中影响颜色质量的红细胞区域和无组织区域，只保留经过H&E染色后着色的组织区域；特征提取步骤用于对经过预处理之后的组织区域进行特征提取，包括均值、众数、最大值等；分类步骤用于将取得的特征训练机器学习模型，从而判断切片颜色的优良。
本发明的数据为经过数字化扫描仪扫描后得到的1倍放大倍数下的H&E染色的数字病理图像。由于切片颜色质量的优良判别结果为5类，分别是厚切片、对比差切片、红淡切片、蓝淡切片以及红蓝标准切片，这些判别结果是根据切片中经过H&E染色（苏木精—伊红染色）后有着色的组织区域来判断的。而经过数字化扫描仪扫描后的数字化病理图像除了包含有效的被H&E染色剂染色后的病理组织区域，还包含组织周边的空白区域、组织内部空白区域、组织中的红细胞。为降低空白区域以及红细胞对图像特征提取过程中产生的负面影响（空白区域会导致图像的亮度及灰度信息偏高，红细胞会导致图像的红色通道值及饱和度偏离），需要将这些区域识别并去除。
本发明利用病理图像的颜色信息对无效的组织区域进行滤除。针对白色区域，由于RGB三通道中G通道更能够在灰度级别显示组织区域，本发明首先利用图像的G通道将空白区域滤除。具体做法如下：
a).获取病理图像，首先获取足够数量的经过数字化扫描仪扫描后得到的H&E染色的数字病理图像，然后对获取的病理图像依次进行步骤b)至步骤f)的处理；
b).找出病理组织中心的空白区域，由于病理图像的RGB三通道中G通道能够在灰度级别显示病理组织区域，故利用病理图像的G通道将空白区域滤除，其通过步骤b-1)至步骤b-3)来实现：
b-1).获取G通道图像并处理，记初始病理图像为Image，将Image图像中的G通道提取出来形成G通道图像Image_G；将Image_G图像中灰度值为200以上的像素点记为空白点，剩余像素点则为病理组织区域；
b-2).找出Image_G图像中空白区域，根据连通区特性，找出Image_G图像的中心是否存在面积符合要求的空白区域；
b-3).处理标志图像，初始化一个与Image大小相等的灰度值标志图像Flag_center，如果步骤b-2)中存在中心空白区域，则将Flag_center图像中与中心空白区域对应位置的像素值全部置为255，即白；如果步骤b-2)中不存在中心空白区域，则标志图像Flag_center保持依旧全黑；
如图1所示，从左至右的两幅图片分别给出了灰度值为200以上的像素点记为空白点的Image_G图像和Flag_center图像。
c).找出病理组织周边的空白区域，初始化一个与Image大小相等的灰度值标志图像Flag_Image，根据连通区特性，找到Flag_Image图像中符合病理组织区域的最大连通区，将Flag_Image图像中与最大连通区对应位置的像素点置为255，即白； Flag_Image中黑色点的区域即为组织周边的空白区域；
d).获取组织所在区域图像，将步骤c)中获取的Flag_Image图像与步骤b)中获取的Flag_center图像做差，得到去除中心空白区域和周边空白区域的组织所在区域图像，记为Image_cutwhite；
如图2所示，从左至右的三幅图片分别给出了病理组织区域对应位置的像素点置为255的Image_G图像、最大连通区处理后的Image_G图像、Flag_Image与Flag_center做差后的图像。如图3所示，两幅图片分别给了去除空白区域后的Image_cutwhite图像。
切片中的红细胞是因为在病理组织在取材过程中取到血管，血管中有红细胞存在。针对红细胞，根据红色的色调与饱和度特性，可以将红细胞所在位置筛除。e).去除组织所在区域图像中红细胞所在位置，通过步骤e-1)至步骤e-3)来实现：
e-1).空间转换，首先将去除空白区域的病理图像Image_cutwhite由RGB空间转换为HSV空间，得到整幅图像的色调Image_H与饱和度Image_S；
e-2).滤除红细胞，然后根据红细胞的色调与饱和度特性，即红细胞的色调超过220并且红细胞的饱和度超过125，在色调图像Image_H与饱和度图像Image_S中找出红细胞所在位置并滤除；
f).获取待分析病理组织区域图像，将色调图像Image_H中红细胞所在位置滤除后，再将滤除红细胞位置的色调图像Image_H进行二值化，得到Image_H_bw；Image_H_bw中白色的点所在位置为组织区域，其相应彩色图像中对应位置的像素为待分析的病理组织区域Image_cutred。
如图4所示，从左至右的三幅图片分别给出了Image_cutwhite图像及其对应的色调图像Image_H与饱和度图像Image_S，如图5所示，从左至右的三幅图片分别给出了Image_H图像、Image_H图像的二值化图像以及滤除红细胞后的病理组织图像Image_cutred。综上，完成图像预处理步骤的工作，输入为病理组织图像Image，输出为滤波后的病理组织图像Image_cutred。
本发明中特征提取步骤用于提取病理组织图像Image_cutred的特征，由于本发明的目的是对切片的颜色质量进行五分类，因此需要找出能代表图像颜色的特征以区分各个类别的图像。
一幅标准的病理图像为仅包含一层细胞的红蓝颜色对比鲜明的图像。厚切片为不止一层细胞的病理切片；而对比差切片、红淡切片、蓝淡切片则是针对的偏蓝紫色的细胞核和偏红粉色的细胞质所做的分类。标准的H&E染色病理图像包含偏蓝紫色的细胞核和偏红粉色的细胞质，若染色的质量不好，则会出现细胞核细胞质区分度弱（对比差）、过度染色或者着色过弱（红淡、蓝淡）等。
综上，本发明将根据各类切片的颜色特点来提取特征。针对厚切片，因其包含有多层细胞，透明度差，颜色偏暗偏深，利用其饱和度和色调的特点，可以将厚切片与其他四类区分。具体地，将病理组织图像Image_cutred转换到HSV空间，以H色调、S饱和度和V亮度的均值作为厚切片的特征，分别记为特征mean(Image_cutred_H)、mean(Image_cutred_S)和mean(Image_cutred_V)。图6为以S饱和度均值为横坐标，以V亮度均值为纵坐标做的散点图，从图中可以看出，对比差、红淡、蓝淡以及红蓝标准的切片分布的更为集中，其亮度信息分布在0.8-0.9之间，对应的饱和度在0.2-0.55之间，而厚切片的亮度值偏低、饱和度偏高。
针对因染色质量引起的对比差、红淡、蓝淡，本发明引入单一色彩通道的众数反应图像大多数像素点的颜色区间，引入红蓝偏离度作为评价细胞核与细胞质颜色对比是否鲜明的标志。本发明将对整个病理图像以及染色分离后的H染色图像与E染色图像做众数与红蓝偏离度的计算。
特征提取步骤具体通过以下步骤来实现：
1).获取作为厚切片的特征，将病理组织区域图像Image_cutred由RGB空间转换到HSV空间，以色调H、饱和度S和亮度V的均值作为厚切片的特征，分别记为色调均值mean(Image_cutred_H)、饱和度均值mean(Image_cutred_S)和亮度均值mean(Image_cutred_V)共计3个特征；
2).获取整个图像的众数特征，将病理组织区域图像Image_cutred由RGB空间转换到HSV空间，因图像的亮度信息相似，因此仅将色调与饱和度信息考虑在内；利用色调H通道和饱和度S通道下的灰度图像的直方图，分别得到图像色调H空间的众数Image_H_most、饱和度S空间的众数Image_S_most共计2个特征；
3).获取整个图像的红蓝偏离度特征，将图像Image_cutred由RGB空间转换到Lab空间；Lab空间是一个与设备无关的颜色系统，是一种基于生理特征的颜色系统，用数字化的方法来描述人的视觉感应；由于颜色的质量对比差、红淡、蓝淡均是对人的视觉感应的描述，因此采用该空间来描述红蓝的偏离度；同样不考虑图像的明暗程度，a通道的均值a_Image_mean代表偏红的程度，b通道的均值b_Image_mean代表偏蓝的程度，a通道的均值a_Image_mean、b通道的均值b_Image_mean作为红蓝偏离度的2个特征；
本发明的切片颜色所涉及到的蓝淡红淡分类是基于染色剂的，根据细胞核与细胞质的颜色特性，即H染色剂能够使细胞核着色为蓝紫色，E染色剂能够使细胞质着色为粉色，如，蓝淡是H染色剂的着色不显著而E染色剂正常着色，整体切片颜色偏红，红淡是E染色剂的着色不显著而H染色剂正常着色，整体切片颜色偏蓝。
4).获取染色分离图像的颜色偏离度特征，通过步骤4-1)至步骤4-3)来实现：
4-1).转换为光密度值，根据公式（1）所示的朗伯-比尔定律Lambert-Beer LAW将病理组织区域图像Image_cutred的RGB彩色值转换为光密度值：
OD=﹣log10（I） （1）
式中，I为病理图像的RGB三通道归一化到0到1区间的值，OD为对应的光密度场；
4-2).获取光密度场，首先通过在OD上进行奇异值分解，得到两个最大的奇异值向量，并以这两个向量所指的方向建立坐标系平面；然后，将图像转换的OD值在新建的坐标系上做投影，得到对应于H分量和E分量的两个光密度场；
4-3).获取染色分离图像，最后将步骤4-2)获取的光密度场转换回RGB空间，即可获得基于H染色剂的细胞核图像Image_seperation_H和基于E染色剂的细胞质图像Image_seperation_E；
4-4).获取颜色偏离度特征，首先将基于H染色剂的细胞核图像Image_seperation_H和基于E染色剂的细胞质图像Image_seperation_E由RGB空间转换到各自的Lab空间，然后计算对应图像的a通道与b通道均值，基于H染色剂的细胞核图像Image_seperation_H的a通道与b通道均值分别记为a_H_mean和b_H_mean，基于E染色剂的细胞质图像Image_seperation_E的a通道与b通道均值分别记为a_E_mean和b_E_mean；最后，根据公式（2）分别计算细胞核图像和细胞质图像的颜色偏离度Color_Deviation_H与Color_Deviation_E：
Deviation=[(a-amean)2+(b-bmean)2]1/2 （2）
细胞核图像和细胞质图像的颜色偏离度Color_Deviation_H与Color_Deviation_E作为2个颜色偏离度特征；
5).获取染色分离图像的众数特征，为增加图像的可分辨能力，将基于H染色剂的细胞核图像Image_seperation_H和基于E染色剂的细胞质图像Image_seperation_E由RGB空间转换到HSV空间，分别计算HSV空间下这两个图像的H色调通道与S饱和度通道的众数，记为细胞核图像H通道的众数H_H_most、细胞核图像S通道的众数H_S_most、细胞质图像H通道的众数E_H_most和细胞质图像S通道的众数E_S_most。
综上，本发明为区分厚切片、蓝淡、红淡、对比差以及红蓝标准切片，共设计13个图像特征，分别为针对整个图像的HSV空间各个通道的均值mean(Image_cutred_H)/mean(Image_cutred_S)/mean(Image_cutred_V)、H空间与S空间的众数Image_H_most/Image_S_most、Lab空间a/b通道的均值a_Image_mean/b_Image_mean，基于H染色剂的细胞核图像的HSV空间下H通道与S通道的众数H_H_most、H_S_most、Lab空间下的颜色偏离度Color_Deviation_H，基于E染色剂的细胞质图像的HSV空间下H通道与S通道的众数E_H_most/E_S_most、Lab空间下的颜色偏离度Color_Deviation_E。
根据前面分析，本发明所涉及的切片颜色质量分类问题为五分类问题，设计机器学习模型进行分类。模型的输入为病理切片经过特征提取模块后得到的13个特征向量，输出为病理切片的颜色质量等级。通过对比分析，本发明使用基于RUSBoost的集成分类器，其最大分裂数为20，学习器数量为30，学习率为0.021，优化器为随机搜索，迭代数目为30次。经过训练后，得到的机器学习模型精度为81.3%，满足使用需求。

Claims (4)

1.一种基于染色分离的病理切片颜色相关质量评估方法，包括图像预处理步骤、特征提取步骤和分类步骤，其特征在于，图像预处理步骤包括：首先将病理切片图像中的组织区域提取出来，然后去除组织区域中影响颜色质量的红细胞区域和无组织区域，只保留经过H&E染色后着色的组织区域；特征提取步骤为对经过预处理之后的组织区域进行特征提取；分类步骤用于将取得的特征训练机器学习模型，从而判断切片颜色的优良。
2.根据权利要求1所述的基于染色分离的病理切片颜色相关质量评估方法，其特征在于，所述图像预处理步骤具体通过以下步骤来实现：
a).获取病理图像，首先获取足够数量的经过数字化扫描仪扫描后得到的H&E染色的数字病理图像，然后对获取的病理图像依次进行步骤b)至步骤f)的处理；
b).找出病理组织中心的空白区域，由于病理图像的RGB三通道中G通道能够在灰度级别显示病理组织区域，故利用病理图像的G通道将空白区域滤除，其通过步骤b-1)至步骤b-3)来实现：
b-1).获取G通道图像并处理，记初始病理图像为Image，将Image图像中的G通道提取出来形成G通道图像Image_G；将Image_G图像中灰度值为200以上的像素点记为空白点，剩余像素点则为病理组织区域；
b-2).找出Image_G图像中空白区域，根据连通区特性，找出Image_G图像的中心是否存在面积符合要求的空白区域；
b-3).处理标志图像，初始化一个与Image大小相等的灰度值标志图像Flag_center，如果步骤b-2)中存在中心空白区域，则将Flag_center图像中与中心空白区域对应位置的像素值全部置为255，即白；如果步骤b-2)中不存在中心空白区域，则标志图像Flag_center保持依旧全黑；
c).找出病理组织周边的空白区域，初始化一个与Image大小相等的灰度值标志图像Flag_Image，根据连通区特性，找到Flag_Image图像中符合病理组织区域的最大连通区，将Flag_Image图像中与最大连通区对应位置的像素点置为255，即白； Flag_Image中黑色点的区域即为组织周边的空白区域；
d).获取组织所在区域图像，将步骤c)中获取的Flag_Image图像与步骤b)中获取的Flag_center图像做差，得到去除中心空白区域和周边空白区域的组织所在区域图像，记为Image_cutwhite；
e).去除组织所在区域图像中红细胞所在位置，通过步骤e-1)至步骤e-3)来实现：
e-1).空间转换，首先将去除空白区域的病理图像Image_cutwhite由RGB空间转换为HSV空间，得到整幅图像的色调Image_H与饱和度Image_S；
e-2).滤除红细胞，然后根据红细胞的色调与饱和度特性，即红细胞的色调超过220并且红细胞的饱和度超过125，在色调图像Image_H与饱和度图像Image_S中找出红细胞所在位置并滤除；
f).获取待分析病理组织区域图像，将色调图像Image_H中红细胞所在位置滤除后，再将滤除红细胞位置的色调图像Image_H进行二值化，得到Image_H_bw；Image_H_bw中白色的点所在位置为组织区域，其相应彩色图像中对应位置的像素为待分析的病理组织区域Image_cutred。
3.根据权利要求2所述的基于染色分离的病理切片颜色相关质量评估方法，其特征在于，所述特征提取步骤具体通过以下步骤来实现：
1).获取作为厚切片的特征，将病理组织区域图像Image_cutred由RGB空间转换到HSV空间，以色调H、饱和度S和亮度V的均值作为厚切片的特征，分别记为色调均值mean(Image_cutred_H)、饱和度均值mean(Image_cutred_S)和亮度均值mean(Image_cutred_V)共计3个特征；
2).获取整个图像的众数特征，将病理组织区域图像Image_cutred由RGB空间转换到HSV空间，因图像的亮度信息相似，因此仅将色调与饱和度信息考虑在内；利用色调H通道和饱和度S通道下的灰度图像的直方图，分别得到图像色调H空间的众数Image_H_most、饱和度S空间的众数Image_S_most共计2个特征；
3).获取整个图像的红蓝偏离度特征，将图像Image_cutred由RGB空间转换到Lab空间；Lab空间是一个与设备无关的颜色系统，是一种基于生理特征的颜色系统，用数字化的方法来描述人的视觉感应；由于颜色的质量对比差、红淡、蓝淡均是对人的视觉感应的描述，因此采用该空间来描述红蓝的偏离度；同样不考虑图像的明暗程度，a通道的均值a_Image_mean代表偏红的程度，b通道的均值b_Image_mean代表偏蓝的程度，a通道的均值a_Image_mean、b通道的均值b_Image_mean作为红蓝偏离度的2个特征；
4).获取染色分离图像的颜色偏离度特征，通过步骤4-1)至步骤4-3)来实现：
4-1).转换为光密度值，根据公式（1）所示的朗伯-比尔定律Lambert-Beer LAW将病理组织区域图像Image_cutred的RGB彩色值转换为光密度值：
OD=﹣log10（I） （1）
式中，I为病理图像的RGB三通道归一化到0到1区间的值，OD为对应的光密度场；
4-2).获取光密度场，首先通过在OD上进行奇异值分解，得到两个最大的奇异值向量，并以这两个向量所指的方向建立坐标系平面；然后，将图像转换的OD值在新建的坐标系上做投影，得到对应于H分量和E分量的两个光密度场；
4-3).获取染色分离图像，最后将步骤4-2)获取的光密度场转换回RGB空间，即可获得基于H染色剂的细胞核图像Image_seperation_H和基于E染色剂的细胞质图像Image_seperation_E；
4-4).获取颜色偏离度特征，首先将基于H染色剂的细胞核图像Image_seperation_H和基于E染色剂的细胞质图像Image_seperation_E由RGB空间转换到各自的Lab空间，然后计算对应图像的a通道与b通道均值，基于H染色剂的细胞核图像Image_seperation_H的a通道与b通道均值分别记为a_H_mean和b_H_mean，基于E染色剂的细胞质图像Image_seperation_E的a通道与b通道均值分别记为a_E_mean和b_E_mean；最后，根据公式（2）分别计算细胞核图像和细胞质图像的颜色偏离度Color_Deviation_H与Color_Deviation_E：
Deviation=[(a-amean)2+(b-bmean)2]1/2 （2）
细胞核图像和细胞质图像的颜色偏离度Color_Deviation_H与Color_Deviation_E作为2个颜色偏离度特征；
5).获取染色分离图像的众数特征，为增加图像的可分辨能力，将基于H染色剂的细胞核图像Image_seperation_H和基于E染色剂的细胞质图像Image_seperation_E由RGB空间转换到HSV空间，分别计算HSV空间下这两个图像的H色调通道与S饱和度通道的众数，记为细胞核图像H通道的众数H_H_most、细胞核图像S通道的众数H_S_most、细胞质图像H通道的众数E_H_most和细胞质图像S通道的众数E_S_most。
4.根据权利要求3所述的基于染色分离的病理切片颜色相关质量评估方法，其特征在于，所述的分类步骤的实现方法为：将足够样本数量的数字病理图像将步骤b)至步骤f)以及步骤1)至步骤5)的处理后，选择其中一部分作为训练集，一部分作为测试集，剩余的作为验证集，并将测试集中的图像通过人工标注出厚切片、蓝淡、红淡、对比差以及红蓝标准切片共计五个分类标签，然后进行机器学习模型进行分类，机器学习模型的输入为病理切片经过特征提取模块后得到的13个特征向量，输出为病理切片的颜色质量等级。
CN202210740555.4A 2022-06-28 2022-06-28 基于染色分离的病理切片颜色相关质量评估方法 Pending CN114937032A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210740555.4A CN114937032A (zh) 2022-06-28 2022-06-28 基于染色分离的病理切片颜色相关质量评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210740555.4A CN114937032A (zh) 2022-06-28 2022-06-28 基于染色分离的病理切片颜色相关质量评估方法

Publications (1)

Publication Number Publication Date
CN114937032A true CN114937032A (zh) 2022-08-23

Family

ID=82869302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210740555.4A Pending CN114937032A (zh) 2022-06-28 2022-06-28 基于染色分离的病理切片颜色相关质量评估方法

Country Status (1)

Country Link
CN (1) CN114937032A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359056A (zh) * 2022-10-19 2022-11-18 浙江华诺康科技有限公司 分裂细胞检测方法、装置和计算机设备
CN117058014A (zh) * 2023-07-14 2023-11-14 北京透彻未来科技有限公司 一种基于lab色彩空间匹配的染色归一化系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359056A (zh) * 2022-10-19 2022-11-18 浙江华诺康科技有限公司 分裂细胞检测方法、装置和计算机设备
CN117058014A (zh) * 2023-07-14 2023-11-14 北京透彻未来科技有限公司 一种基于lab色彩空间匹配的染色归一化系统及方法
CN117058014B (zh) * 2023-07-14 2024-03-29 北京透彻未来科技有限公司 一种基于lab色彩空间匹配的染色归一化系统及方法

Similar Documents

Publication Publication Date Title
US5436978A (en) Method and an apparatus for differentiating a sample of biological cells
CN114937032A (zh) 基于染色分离的病理切片颜色相关质量评估方法
JP5044633B2 (ja) 定量ビデオ顕微鏡法とそれに関連するシステムおよびコンピュータソフトウェアプログラム製品
CN109961426B (zh) 一种人脸皮肤肤质的检测方法
JP4376058B2 (ja) 定量的ビデオ顕微鏡法とそれに関連するシステム及びコンピューターソフトウェアプログラム製品
CN103518224B (zh) 用于分析微生物生长的方法
CN106388781A (zh) 一种皮肤肤色及其色素沉淀情况的检测方法
EP3767586A1 (en) Colony contrast gathering
KR20080016847A (ko) 크로모겐 분리에 기초한 영상 분석 방법
CN107064079A (zh) 用于识别全血样品中的血小板的方法和设备
DE3503475A1 (de) Verfahren zum automatischen pruefen von blutproben
CN110504032B (zh) 基于苏木精-伊红染片的图像处理来预测肿瘤突变负荷的方法
EP2040218B1 (en) Image processing device and image processing program
CN110495888B (zh) 一种基于中医舌、面图像的标准色卡及其应用
Abousamra et al. Weakly-supervised deep stain decomposition for multiplex IHC images
Sigit et al. Identification of leukemia diseases based on microscopic human blood cells using image processing
US10920262B2 (en) Cell measurement method
Lezoray et al. Segmentation of cytological images using color and mathematical morphology
CN113077405A (zh) 二分割分块的颜色传递及其质量评价体系
CN104573668A (zh) 基于光谱反射率的面部色泽适应性自动识别方法
KR101901812B1 (ko) 전자눈 분석을 이용한 쌀 신곡과 구곡의 판별 방법
CN115546141A (zh) 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统
CN114609134A (zh) 基于线性判别的烤烟烟叶田间成熟度手机智能判别方法
JPWO2018131091A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN108387553B (zh) 针对白细胞与血小板共存全息图的分块重建与分类计数方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination