CN104408717A - 一种基于着色分离的病理图像颜色质量综合评价方法 - Google Patents

一种基于着色分离的病理图像颜色质量综合评价方法 Download PDF

Info

Publication number
CN104408717A
CN104408717A CN201410680516.5A CN201410680516A CN104408717A CN 104408717 A CN104408717 A CN 104408717A CN 201410680516 A CN201410680516 A CN 201410680516A CN 104408717 A CN104408717 A CN 104408717A
Authority
CN
China
Prior art keywords
image
color
pathological image
value
pathological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410680516.5A
Other languages
English (en)
Inventor
谢凤英
刘鸿蕾
卢亚楠
姜志国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201410680516.5A priority Critical patent/CN104408717A/zh
Publication of CN104408717A publication Critical patent/CN104408717A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本发明涉及一种基于着色分离的病理图像颜色质量综合评价方法。该方法共有三大步骤,步骤一:对病理图像进行着色分离。步骤二:利用红蓝对比度、颜色偏离度、颜色信息熵、空隙区域破碎度四个指标对病理图像进行评价。步骤三:利用样本集训练得到神经网络模型,用该模型对测试集进行综合评价,将评价值与真值比对,并计算正确率。本发明填补了病理图像颜色质量评价的空白,利用着色分离及神经网络取得了较好的评价结果,在病理图像质量评价领域里具有广阔的应用前景。

Description

一种基于着色分离的病理图像颜色质量综合评价方法
技术领域:
本发明涉及一种基于着色分离的病理图像颜色质量综合评价方法,属于病理图像质量评价技术领域。
背景技术:
病理图像是病理切片的数字化图像。病理学既是医学基础学科,同时又是一门实践性很强的具有临床性质的学科,称之为诊断病理学(diagnosticpathology)。临床上,将部分有病变的组织或脏器经过各种化学品和埋藏法的处理,使之固定硬化,在切片机上切成薄片,粘附在玻片上,染以各种颜色,即得到病理切片。在显微镜下检查该病理切片,观察患病机体有关部分的形态结构、代谢和功能发生的种种改变,既能得到研究和认识疾病的重要理论知识,又可以做出疾病的病理学诊断和鉴别诊断,直接为临床防治疾病服务。病理切片的制作要经过取材、固定、脱水、染色等一系列过程,其中染色环节至关重要。常用的染色方法是苏木素-伊红(Hematoxylin-Eosin)染色法,简称H.E染色法。这种方法对任何固定液固定的组织和应用各种包埋法的切片均可使用。苏木素是一种碱性染料,可使组织中的嗜碱性物质染成蓝色,如细胞核中的染色质等;伊红是一种酸性染料,可使组织中的嗜酸性物质染成红色,如多数细胞的胞质、核仁等在H.E染色的切片中均呈红色。
H.E染色是一种多步骤、多因素决定的实验方法,无论是手工还是机器操作,都存在着许多影响因素,甚至会出现不理想的染色结果。在实际应用中,切片染色质量的好坏直接影响病理诊断的正确率,一张质量上乘的H.E切片是病理医生得以做出正确诊断的关键。许多所谓的“疑难病理案例”,大多数是由于切片颜色质量差造成的,因此有必要对采集到的病理切片图像进行颜色质量评价,以筛选出质量差的切片图像并剔除,以免后续计算机自动诊断或临床医师诊断出错,并且给出反馈,以便重新采集相关部位的切片图像。染色理想的切片在显微镜下应是:细胞核与细胞浆应蓝红相映,鲜艳美丽;细胞核与胞浆无过染或染色不充分现象;细胞核、浆着色均匀;除细胞核、浆外无空隙区域或杂质。
综上所述,一幅H.E染色的病理图像主要包含偏蓝色的细胞核和偏红色的细胞质两部分。病理图像颜色的失真包括:细胞核、质染色混杂,区分度弱;过度染色或着色过弱;染色不均;存在空隙区域。针对临床上对病理图像染色质量的要求,本发明提出了红蓝对比度、颜色偏离度、颜色信息熵、空隙区域破碎度共四个指标特征对病理图像颜色质量进行评价。
红蓝对比度评价细胞核、质颜色对比是否鲜明;颜色偏离度评价细胞核、质染色偏离标准色的程度;颜色信息熵评价染色的均匀程度;空隙区域破碎度评价病理图像中空隙区域的面积及离散程度。这四个指标评价的是细胞核、质之间的颜色对比和各自染色是否正常以及除这两部分之外的空隙区域的影响,因此,计算这些指标首先要得到独立的细胞核、质图像。本发明中采用颜色反卷积方法来获得单着色的细胞核、质图像。
由于病理图像一般不只包含一种颜色失真,因此需要对其颜色质量进行综合评价。综合评价过程为:将上述四个指标的评价值输入到神经网络中,训练得到综合质量评价模型,利用该模型对未知质量等级的病理图像进行评价,得到综合评价值。
临床上对于病理图像的质量评价需要无参考的质量评价方法。然而,与其他的病理图像分析技术不同,国内外科技工作者在病理图像的质量评价方面的研究还很薄弱。目前存在的病理图像质量评价有针对高斯模糊、高斯白噪声的基于局部结构信息度量的无参考型图像质量评价方法,针对病理图像颜色质量评价的研究还很少。本发明针对染色质量评价问题,提出一种基于着色分离的病理图像颜色质量综合评价方法以实现病理图像的颜色质量评价,评价效果较好。
发明内容:
1、目的:本发明的目的是提供一种基于着色分离的病理图像颜色质量综合评价方法,该方法利用颜色反卷积和BP神经网络实现对病理图像颜色质量的客观评价。
2、技术方案:本发明是通过以下技术方案实现的:
本发明是一种基于着色分离的病理图像颜色质量综合评价方法,对于一幅待评价的普通H.E染色病理图像,本发明的技术方案主要包括以下步骤:
步骤一:对病理图像进行着色分离
(1)建立颜色反卷积矩阵
透过样本的单色光与样本的着色量之间的关系可以通过下面公式表示:
Io(λ)=Ii(λ)exp(-A*c(λ))
其中,Io(λ)是穿过样本之后的波长为λ的光线强度,Ii(λ)是波长为λ的入射光强度,A是样本的着色量,c(λ)是某种着色的依赖于波长的吸收因子。
Io(λ)以非线性的方式依赖于样本的着色量A,所以RGB图像的三个通道的相对强度IR、IG、IB均不能直接应用于每种着色的分离和测量。但每个通道的光学密度(OD)为:OD=-log(Io/Ii)=A*c,每种着色剂在R、G、B三个通道有相应的光学密度值,可以用一个3 x1的OD向量来表示,则三种混合着色的颜色系统可描述为如下矩阵:
P r 1 P g 1 P b 1 P r 2 P g 2 P b 2 P r 3 P g 3 P b 3
其中,每行代表一种着色,每列代表每种着色的一个通道。将该矩阵进行正交变换及标准化,得到的标准化OD矩阵设为M。本发明采用经验标准化矩阵,如下:
M = 0.6500 0.7040 0.2860 0.2681 0.5703 0.7764 0.7110 0.4232 0.5616
定义反卷积矩阵D=M-1。计算得:
D = 1.8801 - 0.0736 - 0.5952 - 1.0172 1.1353 - 0.4826 - 0.5553 - 0.1265 1.5733
在该矩阵中,对角线元素大于1,而非对角线元素是负的,意味着,校正的光学密度值是通过下述方法获得的:
苏木素:增强红色通道的OD值,减弱绿色、蓝色通道的OD;
其他染色剂:增强绿色通道的OD,减弱红色、蓝色通道的OD;
伊红:增强蓝色通道的OD,减弱红色、绿色通道的OD;
由于本发明采用的病理图像是苏木素-伊红染色制作而成,所以着色分离之后得到的三幅单着色图像中“其他染色剂”对应的图像不予考虑。
(2)求单着色信息
令A为一个1×3的向量,表示一个像素点的三种着色量,每个像素点的光学密度向量设为y,y=A*M,则单着色信息为A=[y]*D。我们分别对病理图像进行着色分离求取单着色信息即可得到两幅单着色图像,分别为病理图像细胞核(颜色偏蓝)与细胞质(颜色偏红)部分。
步骤二:设计颜色质量评价指标
本发明针对两幅单着色图像的颜色特点,设计了红蓝对比度、颜色偏离度、颜色信息熵、空隙区域破碎度共四个指标对其颜色质量进行评价。下面分别介绍这四个指标的定义。
(1)红蓝对比度
“红蓝对比度”评价病理图像中细胞核、质的颜色对比是否分明,公式如下: RB _ contrast = d 2 ∂ 1 * ∂ 2
其中,d为核、质像素集的中心点之间的欧氏距离。分别为核、质像素集的方差。由该式含义可知,“红蓝对比度”越大,细胞核、质颜色对比越鲜明。反之,核、质颜色越接近。本发明处理了3000幅320像素×260像素的病理图像,对于红蓝对比度的计算值范围为:16-93。该值为93时,红蓝对比最明显,为16时,对比不清晰。为了后续综合评价时保持数据的统一性,将每个指标取值范围进行归一化,归一化公式如下:
x i * = x i - x min x max - x min × 5
编程时采用向上取整,即可将取值范围量化为1-5等五个等级,1代表最差,5代表最好。
(2)颜色偏离度
由于正常染色的细胞核、质分别呈现蓝、红色,因此需要评价细胞核、质染色是否正常。分别将病理图像的核、质图像分别转换到Lab彩色空间,计算其a、b通道均值。Lab模型是惯常用来描述人眼可见的所有颜色的最完备的色彩模型。a和b的值域都是由+127至-128,其中a为+127时就是红色,渐渐过渡到-128的时候就变成绿色;同样原理,b为+127是黄色,-128时是蓝色。由RGB空间转换到Lab空间有多种公式,我们采用了以下经典转换公式:
X Y Z = 0.433910 0.376220 0.189860 0.212649 0.715169 0.072182 0.017756 0.109478 0.872915 R G B
其中:
L = 116 * Y 1 / 3 Y > 0.008856 903.3 * Y Y < = 0.008856
F ( t ) = t 1 / 3 t > 0.008856 7.787 * t + 16 / 116 t < = 0.008856
a=500*(f(X)-f(Y))
b=200*(f(Y)-f(Z))
临床上给定的标准染色的病理图像,其a、b通道值选定为标准值,其值为:(a,b)=(85,-35),颜色偏离度为病理图像a、b通道值组成的二维向量与标准值之间的欧氏距离,定义为:
Color_Deviation=sqrt((a-a1)2+(b-b1)2)
与红蓝对比度一样,该指标取值范围为:0-56。该距离为0时,病理图像颜色最标准,为56时,色彩偏差最大。与红蓝对比度相同,将该指标取值范围量化为1-5等四个等级。
(3)颜色信息熵
颜色信息熵评价核、质图像颜色的均匀度。颜色直方图及其组成的空间可以作为图像识别的训练集(数据库)中的颜色特征。利用信息论的方法扩展基于颜色信息的图像属性特征得到颜色信息熵。根据颜色直方图的定义可以推出该图像的概率密度函数如下:
h ( i ) = N ( C i ) N 1 &times; N 2
其中,N(Ci)表示图像中像素颜色是Ci的像素总数。定义向量vi为被量化的颜色i的像素在图像I中所占的百分比,它的值等于颜色i的概率密度函数pi的值,即颜色i的直方图块,因此图像颜色信息熵可以由下式定义:
H ( v ) = - &Sigma; i = 1 n v i lg ( v i )
此处,该指标对细胞核、质单色图像进行独立评价,计算得细胞核图像颜色信息熵取值范围为:2.04-3.52。细胞质图像取值范围为:2.17-3.35。病理图像细胞核、质染色过程相同,因此均匀程度相似,为了后续计算简便,取细胞核、质颜色信息熵的均值作为病理图像颜色信息熵。熵值最小时,图像灰度最均匀,最大时,灰度分布最混乱。与上面两个指标一样,细胞核和细胞质的颜色信息熵取值范围也被量化为1-5五个等级。
(4)空隙区域破碎度
空隙区域破碎度评价病理图像中空隙区域的面积及其离散程度。空隙区域面积越大,病理图像质量越差。相同面积时,破碎度越高,即空隙区域越离散,病理图像信息损失越大,质量越差。将病理图像原图中去掉单着色的核、质图像,然后进行形态学处理,先做开运算,后做闭运算,得到空隙区域图像。将该图像进行二值化,图像中有效点像素值为1,背景区域像素值为0。提取图像中连通区域,并记录其个数为单幅图像空隙区域数量统计结果n。计算上述n块连通区域面积S1,S2,…,Sn,单位面积空隙区域方差定义为:
S M = &Sigma; i = 1 n ( S i - S C / n ) 2 S C 2
式中,Sc=S1+S2+…+Sn。SC相等的两幅相异图像如果SM1<SM2,表示大块连续空隙区对图像的破坏程度要小于数目多且面积小的空隙区对图像的破坏度。定义空隙区域破碎度CF为单位面积空隙区域像素在图像空间被分割的程度。根据连通区域的空隙区域数量和大小,CF计算公式为:
C F ( I ) = P D S V = R N ( I ) S C / S M S M = R N ( I ) &times; S C &Sigma; i = 1 n ( S i - S C / n ) 2 &times; S Z
该指标取值范围为:23-62。破碎度为23时,空隙区域面积小且均匀,为62时,空隙区域面积大且分布不均。同样地,将该指标值量化为1-5。
步骤三:建立BP神经网络模型
本发明在评价病理图像颜色综合质量时,将步骤二中四个特征共4个指标值作为神经网络的输入向量x=(X1,X2,…,Xn),其中,n=4。将病理图像的颜色质量等级评分作为神经网络的输出y。定义y的取值为:5、4、3、2、1,分别对应颜色质量的优、良、中、差、很差。本发明中,首先根据人眼主观打分,将病理图像的综合质量分为上述五个等级,每幅图像的等级值作为其颜色质量的真值。
有了输入和输出,接下来是BP神经网络模型的训练和测试。本发明评价模型中输入为病理图像颜色质量的四个指标值,故输入神经元数目Pn=4,模型输出为图像的综合质量等级,故输出神经元的个数r=1。本发明中选取了结构相对简单的3层BP网络。本发明中处理了3000幅病理图像,将病理图像随机分为训练样本集与测试集。具体训练和测试过程如下:
(1)训练过程
将样本集中每幅图像的四个颜色评价值作为一个向量输入到三层神经网络中,样本的主观颜色质量真值作为输出。通过反复迭代,学习得到神经网络持有的权系数值Wij和阈值θj的正确内部表示。
(2)测试过程
测试神经网络模型时,利用上述步骤中训练得到的神经网络模型对测试集中病理图像进行综合评价。将测试集中病理图像的四个颜色指标值输入到神经网络中,可得到该图像的综合质量评分。
(3)计算正确率
我们将算法对图像的评价值与图像的主观真值进行比对,可计算神经网络模型评价的正确率,公式为:
Accuracy = error _ N Total
其中,error_N为神经网络评价值与主观分类值不同的个数,Total表示参与评价的病理图像总数。本发明对3000幅病理图像采取五折交叉验证的方法测试神经网络模型的评价准确度,正确率为90.4%。
3、优点及功效
本发明的优点是:本发明提出对病理图像进行基于着色分离的质量评价方法,对于染色分离后的单着色病理图像,提取出红蓝对比度、颜色偏离度、颜色信息熵、空隙区域破碎度共四个指标,将每幅图像得到的颜色评价值输入到三层神经网络,学习得到综合质量评价模型。最后利用该模型评价测试集中病理图像。对3000幅图像采用交叉验证法,正确率为90.4%。实验证明上述四个评价指标有很好的区分度且操作简单,能够对病理图像进行实时评价。
附图说明:
图1本发明所述方法评价流程图。
具体实施方式:
为了更好地理解本发明的技术方案,以下结合附图对本发明的实施方式作进一步描述:
本发明利用计算机读取病理图像数据,首先对病理图像进行着色分离,在此基础上提出红蓝对比度、颜色偏离度、颜色信息熵、空隙区域破碎度共四个指标,然后将每幅图像得到的指标值输入到神经网络,学习得到质量评价模型。利用该模型对新的病理图像进行评价。
本发明是一种基于着色分离的病理图像颜色质量综合评价方法,该方法的流程见图1所示。该评价方法包括以下步骤:
步骤一:病理图像着色分离
本发明实验中选择根据经验光学密度值确定的反卷积矩阵对病理图像进行反卷积处理。反卷积矩阵如下所示:
0.6500 0.7040 0.2860 0.2681 0.5703 0.7764 0.7110 0.4232 0.5616
求单着色信息。令A为一个1 x3的向量,表示一个像素点的三种着色量,每个像素点的光学密度向量设为y,y=A*M。则单着色信息A=[y]*D。
步骤二:设计颜色质量评价指标
本发明针对病理图像颜色主要分为细胞核的蓝紫色与细胞质的红色的特点,设计了红蓝对比度、颜色偏离度、颜色信息熵、空隙区域破碎度共四个指标对其颜色质量进行评价。以下分别介绍这四个指标的定义。
(1)红蓝对比度。“红蓝对比度”评价病理图像中细胞核、质的颜色对比是否分明,公式如下:其中,d为核、质像素集的中心点之间的欧氏距离。分别为核、质像素集的方差。由该式含义可知,“红蓝对比度”越大,细胞核、质颜色区别越鲜明。反之,核、质颜色越接近。
(2)颜色偏离度。将病理图像的核、质图像分别转换到Lab彩色空间,然后分别计算其a、b通道均值。
(3)颜色信息熵。颜色信息熵评价核、质图像颜色的均匀度。图像的概率密度函数如下:
h ( i ) = N ( C i ) N 1 &times; N 2
其中,N(Ci)表示图像中像素颜色是Ci的像素总数。定义向量vi为被量化的颜色i的像素在图像I中所占的百分比,它的值等于颜色i的概率密度函数pi的值,即颜色i的直方图块,因此图像颜色信息熵可以由下式定义:
H ( v ) = - &Sigma; i = 1 n v i lg ( v i )
(4)空隙区域破碎度。空隙区域破碎度评价病理图像中空隙区域的面积及其离散程度。将病理图像原图中去掉单着色的核、质图像,然后进行形态学处理,先做开运算,后做闭运算,得到空隙区域图像。将该图像进行二值化,图像中有效点像素值为1,背景区域像素值为0。提取图像中连通区域,并记录其个数为单幅图像空隙区域数量统计结果n。计算上述n块连通区域面积S1,S2,…,Sn,单位面积空隙区域方差定义为
S M = &Sigma; i = 1 n ( S i - S C / n ) 2 S C 2
式中,SC=S1+S2+…+Sn
定义空隙区域破碎度CF为单位面积空隙区域像素在图像空间被分割的程度。根据连通区域的空隙区域数量和大小,CF计算公式为:
C F ( I ) = P D S V = R N ( I ) S C / S M S M = R N ( I ) &times; S C &Sigma; i = 1 n ( S i - S C / n ) 2 &times; S Z
步骤三:建立神经网络模型对病理图像颜色质量进行综合评价
本发明建立了一个三层神经网络模型。将影响病理图像颜色质量的因素的评分作为神经网络的输入向量x=(X1,X2,…,Xn),其中,n=4。将病理图像的颜色质量等级评分作为神经网络的输出y。训练得到神经网络持有的权系数值Wij和阈值θj。利用训练得到的评价模型对测试集中数据进行评价,评价结果与真值比对,计算正确率。
实验结果:本发明实验所用数据包括各组织部位的典型病例图像,均来自厦门麦克奥迪病理诊断中心,利用所发明的方法,得到了比较理想的评价结果,对3000幅图像采用五折交叉验证的方式,正确率为90.4%。
从实验结果来看,我们发明的方法很好地解决了病理图像单着色分离问题,设计的评价染色质量的指标简单有效。因而此方法可以应用到病理图像颜色质量评价中,具有广阔的应用前景和价值。

Claims (1)

1.一种基于着色分离的病理图像颜色质量综合评价方法,其特征在于:它包括以下步骤:
步骤一:对病理图像进行着色分离
(1)建立颜色反卷积矩阵
透过样本的单色光与样本的着色量之间的关系通过下面公式表示:
Io(λ)=Ii(λ)exp(-A*c(λ))
其中,Io(λ)是穿过样本之后的波长为λ的光线强度,Ii(λ)是波长为λ的入射光强度,A是样本的着色量,c(λ)是某种着色的依赖于波长的吸收因子;
Io(λ)以非线性的方式依赖于样本的着色量A,所以RGB图像的三个通道的相对强度IR、IG、IB均不能直接应用于每种着色的分离和测量,但每个通道的光学密度OD为:OD=-log(Io/Ii)=A*c,每种着色剂在R、G、B三个通道有相应的光学密度值,用一个3x1的OD向量来表示,则三种混合着色的颜色系统描述为如下矩阵:
P r 1 P g 1 P b 1 P r 2 P g 2 P b 2 P r 3 P g 3 P b 3
其中,每行代表一种着色,每列代表每种着色的一个通道;将该矩阵进行正交变换及标准化,得到的标准化OD矩阵设为M,采用经验标准化矩阵如下:
M = 0.6500 0.7040 0.2860 0.2681 0.5703 0.7764 0.7110 0.4232 0.5616
定义反卷积矩阵D=M-1,计算得:
D = 1.8801 - 0.0736 - 0.5952 - 1.0172 1.1353 - 0.4826 - 0.5553 - 0.1265 1.5733
在该矩阵中,对角线元素大于1,而非对角线元素是负的,意味着,校正的光学密度值是通过下述方法获得的:
苏木素:增强红色通道的OD值,减弱绿色、蓝色通道的OD;
其他染色剂:增强绿色通道的OD,减弱红色、蓝色通道的OD;
伊红:增强蓝色通道的OD,减弱红色、绿色通道的OD;
由于采用的病理图像是苏木素-伊红染色制作而成,所以着色分离之后得到的三幅单着色图像中“其他染色剂”对应的图像不予考虑;
(2)求单着色信息
令A为一个1×3的向量,表示一个像素点的三种着色量,每个像素点的光学密度向量设为y,y=A*M,则单着色信息为A=[y]*D;分别对病理图像进行着色分离求取单着色信息即得到两幅单着色图像,分别为病理图像细胞核颜色偏蓝部分与细胞质颜色偏红部分;
步骤二:设计颜色质量评价指标
针对两幅单着色图像的颜色特点,设计了红蓝对比度、颜色偏离度、颜色信息熵、空隙区域破碎度共四个指标对其颜色质量进行评价;
(1)红蓝对比度
“红蓝对比度”评价病理图像中细胞核、质的颜色对比是否分明,
公式如下: RB _ contrast = d 2 &PartialD; 1 * &PartialD; 2
其中,d为核、质像素集的中心点之间的欧氏距离,分别为核、质像素集的方差;由该式含义可知,“红蓝对比度”越大,细胞核、质颜色对比越鲜明;反之,核、质颜色越接近;处理3000幅320像素×260像素的病理图像,对于红蓝对比度的计算值范围为:16-93,该值为93时,红蓝对比最明显,为16时,对比不清晰;为了后续综合评价时保持数据的统一性,将每个指标取值范围进行归一化,归一化公式如下:
X i * = X i - X min X max - X min &times; 5
编程时采用向上取整,即可将取值范围量化为1-5等五个等级,1代表最差,5代表最好;
(2)颜色偏离度
由于正常染色的细胞核、质分别呈现蓝、红色,因此需要评价细胞核、质染色是否正常;分别将病理图像的核、质图像分别转换到Lab彩色空间,计算其a、b通道均值;Lab模型是惯常用来描述人眼可见的所有颜色的最完备的色彩模型,a和b的值域都是由+127至-128,其中a为+127时就是红色,渐渐过渡到-128的时候就变成绿色;同理,b为+127是黄色,-128时是蓝色;由RGB空间转换到Lab空间有多种公式,采用以下经典转换公式:
X Y Z = 0.433910 0.376220 0.189860 0.212649 0.715169 0.072182 0.017756 0.109478 0.872915 R G B
其中:
L = 116 * Y 1 / 3 Y > 0.008856 903.3 * Y Y < = 0.008856
F ( t ) = t 1 / 3 t > 0.008856 7.787 * t + 16 / 116 t = 0.008856
a=500*(f(X)-f(Y))
b=200*(f(Y)-f(Z))
临床上给定的标准染色的病理图像,其a、b通道值选定为标准值,其值为:(a,b)=(85,-35),颜色偏离度为病理图像a、b通道值组成的二维向量与标准值之间的欧氏距离,定义为:
Color_Deviation=sqrt((a-a1)2+(b-b1)2)
与红蓝对比度一样,该指标取值范围为:0-56;该距离为0时,病理图像颜色最标准,为56时,色彩偏差最大;与红蓝对比度相同,将该指标取值范围量化为1-5四个等级;
(3)颜色信息熵
颜色信息熵评价核、质图像颜色的均匀度;颜色直方图及其组成的空间作为图像识别的训练集即数据库中的颜色特征;利用信息论的方法扩展基于颜色信息的图像属性特征得到颜色信息熵,根据颜色直方图的定义推出该图像的概率密度函数如下:
h ( i ) = N ( C i ) N 1 &times; N 2
其中,N(Ci)表示图像中像素颜色是Ci的像素总数;定义向量vi为被量化的颜色i的像素在图像I中所占的百分比,它的值等于颜色i的概率密度函数pi的值,即颜色i的直方图块,因此图像颜色信息熵由下式定义:
H ( v ) = - &Sigma; i = 1 n v i lg ( v i )
此处,该指标对细胞核、质单色图像进行独立评价,计算得细胞核图像颜色信息熵取值范围为:2.04-3.52;细胞质图像取值范围为:2.17-3.35,病理图像细胞核、质染色过程相同,因此均匀程度相似,为了后续计算简便,取细胞核、质颜色信息熵的均值作为病理图像颜色信息熵;熵值最小时,图像灰度最均匀,最大时,灰度分布最混乱;与上面两个指标一样,细胞核和细胞质的颜色信息熵取值范围也被量化为1-5五个等级;
(4)空隙区域破碎度
空隙区域破碎度评价病理图像中空隙区域的面积及其离散程度;空隙区域面积越大,病理图像质量越差,相同面积时,破碎度越高,即空隙区域越离散,病理图像信息损失越大,质量越差;将病理图像原图中去掉单着色的核、质图像,然后进行形态学处理,先做开运算,后做闭运算,得到空隙区域图像;将该图像进行二值化,图像中有效点像素值为1,背景区域像素值为0;提取图像中连通区域,并记录其个数为单幅图像空隙区域数量统计结果n;计算上述n块连通区域面积S1,S2,…,Sn,单位面积空隙区域方差定义为:
S M = &Sigma; i = 1 n ( S i - S C / n ) 2 S C 2
式中,SC=S1+S2+…+Sn,SC相等的两幅相异图像如果SM1<SM2,表示大块连续空隙区对图像的破坏程度要小于数目多且面积小的空隙区对图像的破坏度;定义空隙区域破碎度CF为单位面积空隙区域像素在图像空间被分割的程度,根据连通区域的空隙区域数量和大小,CF计算公式为:
C F ( I ) = P D S V = R N ( I ) S C / S M S M = R N ( I ) &times; S C &Sigma; i = 1 n ( S i - S C / n ) 2 &times; S Z
该指标取值范围为:23-62,破碎度为23时,空隙区域面积小且均匀,为62时,空隙区域面积大且分布不均,同样地,将该指标值量化为1-5;
步骤三:建立BP神经网络模型
在评价病理图像颜色综合质量时,将步骤二中四个特征共4个指标值作为神经网络的输入向量x=(X1,X2,…,Xn),其中,n=4;将病理图像的颜色质量等级评分作为神经网络的输出y,定义y的取值为:5、4、3、2、1,分别对应颜色质量的优、良、中、差、很差;首先根据人眼主观打分,将病理图像的综合质量分为上述五个等级,每幅图像的等级值作为其颜色质量的真值;
有了输入和输出,接下来是BP神经网络模型的训练和测试;评价模型中输入为病理图像颜色质量的四个指标值,故输入神经元数目Pn=4,模型输出为图像的综合质量等级,故输出神经元的个数r=1;选取了结构相对简单的3层BP网络,处理了3000幅病理图像,将病理图像随机分为训练样本集与测试集;具体训练和测试过程如下:
(1)训练过程
将样本集中每幅图像的四个颜色评价值作为一个向量输入到三层神经网络中,样本的主观颜色质量真值作为输出;通过反复迭代,学习得到神经网络持有的权系数值Wij和阈值θj的正确内部表示;
(2)测试过程
测试神经网络模型时,利用上述步骤中训练得到的神经网络模型对测试集中病理图像进行综合评价;将测试集中病理图像的四个颜色指标值输入到神经网络中,得到该图像的综合质量评分;
(3)计算正确率
将算法对图像的评价值与图像的主观真值进行比对,计算出神经网络模型评价的正确率,公式为:
Accuracy = error _ N Total
其中,error_N为神经网络评价值与主观分类值不同的个数,Total表示参与评价的病理图像总数;对3000幅病理图像采取五折交叉验证的方法测试神经网络模型的评价准确度,正确率为90.4%。
CN201410680516.5A 2014-11-24 2014-11-24 一种基于着色分离的病理图像颜色质量综合评价方法 Pending CN104408717A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410680516.5A CN104408717A (zh) 2014-11-24 2014-11-24 一种基于着色分离的病理图像颜色质量综合评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410680516.5A CN104408717A (zh) 2014-11-24 2014-11-24 一种基于着色分离的病理图像颜色质量综合评价方法

Publications (1)

Publication Number Publication Date
CN104408717A true CN104408717A (zh) 2015-03-11

Family

ID=52646346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410680516.5A Pending CN104408717A (zh) 2014-11-24 2014-11-24 一种基于着色分离的病理图像颜色质量综合评价方法

Country Status (1)

Country Link
CN (1) CN104408717A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719276A (zh) * 2016-01-07 2016-06-29 于翠妮 一种基于ct图像的肝实质分割方法
CN105741266A (zh) * 2016-01-22 2016-07-06 北京航空航天大学 一种病理图像细胞核快速定位方法
CN106228562A (zh) * 2016-08-01 2016-12-14 浙江科技学院 基于概率神经网络算法的在线印刷品色彩质量评价方法
CN106408566A (zh) * 2016-11-10 2017-02-15 深圳大学 一种胎儿超声图像质量控制方法及系统
CN108140104A (zh) * 2015-09-16 2018-06-08 徕卡生物系统公司 病理学明场像中的自动化染色查找
CN108172278A (zh) * 2018-01-24 2018-06-15 北京航空航天大学 一种he染色病理图像颜色归一化方法
CN108229569A (zh) * 2018-01-10 2018-06-29 麦克奥迪(厦门)医疗诊断系统有限公司 基于染色成分调节的数字病理图像数据集样本扩充方法
CN109615613A (zh) * 2018-11-22 2019-04-12 广州金域医学检验中心有限公司 病理切片染色质量评价方法、装置、计算机设备及存储介质
CN109754390A (zh) * 2018-12-11 2019-05-14 西北大学 一种基于混合视觉特征的无参考图像质量评价方法
CN110060229A (zh) * 2019-05-29 2019-07-26 武汉兰丁医学高科技有限公司 一种骨髓白细胞的细胞自动定位分割方法
CN110838094A (zh) * 2019-11-06 2020-02-25 杭州迪英加科技有限公司 病理切片染色风格转换方法和电子设备
CN111095358A (zh) * 2017-08-04 2020-05-01 文塔纳医疗系统公司 辅助组织样本分析的载玻片图像颜色反卷积系统及方法
CN111105407A (zh) * 2019-12-25 2020-05-05 广州金域医学检验中心有限公司 一种病理切片染色质量评价方法、装置、设备及存储介质
CN111429440A (zh) * 2020-03-31 2020-07-17 上海杏脉信息科技有限公司 显微病理图像细胞充足检测方法、系统、设备、装置及介质
CN111512383A (zh) * 2017-08-04 2020-08-07 文塔纳医疗系统公司 用于图像处理的自动测定评估和归一化
CN112258447A (zh) * 2020-09-14 2021-01-22 北京航空航天大学 基于多种染色病理图像的诊断信息评估方法及系统
CN112785618A (zh) * 2020-11-16 2021-05-11 南京理工大学 基于像素确定性度的对象分割视觉质量评分方法
CN114820502A (zh) * 2022-04-21 2022-07-29 济宁医学院附属医院 一种用于肠粘膜组织中蛋白激酶ck2的着色检测方法
US11776131B2 (en) 2016-09-29 2023-10-03 Magic Leap, Inc. Neural network for eye image segmentation and image quality estimation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101636656A (zh) * 2007-01-25 2010-01-27 霍夫曼-拉罗奇有限公司 Igfbp-7在心力衰竭评估中的用途
WO2011144755A1 (en) * 2010-05-21 2011-11-24 Lab901 Limited Western blot analytical technique
CN103525917A (zh) * 2013-09-24 2014-01-22 北京百迈客生物科技有限公司 基于高通量分型的高密度遗传图谱的构建和评价

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101636656A (zh) * 2007-01-25 2010-01-27 霍夫曼-拉罗奇有限公司 Igfbp-7在心力衰竭评估中的用途
WO2011144755A1 (en) * 2010-05-21 2011-11-24 Lab901 Limited Western blot analytical technique
CN103525917A (zh) * 2013-09-24 2014-01-22 北京百迈客生物科技有限公司 基于高通量分型的高密度遗传图谱的构建和评价

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JAYSON MIEDEMA 等: "Image and Statistical Analysis of Melanocytic Histology", 《HISTOPATHOLOGY》 *
张维强 等: "图像处理中的质量评价简析", 《现代电子技术》 *
王萌萌 等: "基于着色分离的免疫组化图像核分割研究", 《计算机应用与软件》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108140104A (zh) * 2015-09-16 2018-06-08 徕卡生物系统公司 病理学明场像中的自动化染色查找
CN105719276A (zh) * 2016-01-07 2016-06-29 于翠妮 一种基于ct图像的肝实质分割方法
CN105741266A (zh) * 2016-01-22 2016-07-06 北京航空航天大学 一种病理图像细胞核快速定位方法
CN105741266B (zh) * 2016-01-22 2018-08-21 北京航空航天大学 一种病理图像细胞核快速定位方法
CN106228562A (zh) * 2016-08-01 2016-12-14 浙江科技学院 基于概率神经网络算法的在线印刷品色彩质量评价方法
US11776131B2 (en) 2016-09-29 2023-10-03 Magic Leap, Inc. Neural network for eye image segmentation and image quality estimation
CN106408566A (zh) * 2016-11-10 2017-02-15 深圳大学 一种胎儿超声图像质量控制方法及系统
CN106408566B (zh) * 2016-11-10 2019-09-10 深圳大学 一种胎儿超声图像质量控制方法及系统
CN111512383B (zh) * 2017-08-04 2023-09-19 文塔纳医疗系统公司 用于图像处理的自动测定评估和归一化
US11990228B2 (en) 2017-08-04 2024-05-21 Ventana Medical Systems, Inc. Automatic assay assessment and normalization for image processing
CN111512383A (zh) * 2017-08-04 2020-08-07 文塔纳医疗系统公司 用于图像处理的自动测定评估和归一化
CN111095358A (zh) * 2017-08-04 2020-05-01 文塔纳医疗系统公司 辅助组织样本分析的载玻片图像颜色反卷积系统及方法
US11715557B2 (en) 2017-08-04 2023-08-01 Ventana Medical Systems, Inc. Automatic assay assessment and normalization for image processing
CN108229569A (zh) * 2018-01-10 2018-06-29 麦克奥迪(厦门)医疗诊断系统有限公司 基于染色成分调节的数字病理图像数据集样本扩充方法
CN108172278A (zh) * 2018-01-24 2018-06-15 北京航空航天大学 一种he染色病理图像颜色归一化方法
CN109615613A (zh) * 2018-11-22 2019-04-12 广州金域医学检验中心有限公司 病理切片染色质量评价方法、装置、计算机设备及存储介质
CN109754390B (zh) * 2018-12-11 2023-04-07 西北大学 一种基于混合视觉特征的无参考图像质量评价方法
CN109754390A (zh) * 2018-12-11 2019-05-14 西北大学 一种基于混合视觉特征的无参考图像质量评价方法
CN110060229A (zh) * 2019-05-29 2019-07-26 武汉兰丁医学高科技有限公司 一种骨髓白细胞的细胞自动定位分割方法
CN110838094A (zh) * 2019-11-06 2020-02-25 杭州迪英加科技有限公司 病理切片染色风格转换方法和电子设备
CN111105407A (zh) * 2019-12-25 2020-05-05 广州金域医学检验中心有限公司 一种病理切片染色质量评价方法、装置、设备及存储介质
CN111105407B (zh) * 2019-12-25 2023-08-25 广州金域医学检验中心有限公司 一种病理切片染色质量评价方法、装置、设备及存储介质
CN111429440A (zh) * 2020-03-31 2020-07-17 上海杏脉信息科技有限公司 显微病理图像细胞充足检测方法、系统、设备、装置及介质
CN111429440B (zh) * 2020-03-31 2023-04-28 上海杏脉信息科技有限公司 显微病理图像细胞充足检测方法、系统、设备、装置及介质
CN112258447A (zh) * 2020-09-14 2021-01-22 北京航空航天大学 基于多种染色病理图像的诊断信息评估方法及系统
CN112258447B (zh) * 2020-09-14 2023-12-22 北京航空航天大学 基于多种染色病理图像的诊断信息评估方法及系统
CN112785618B (zh) * 2020-11-16 2022-10-21 南京理工大学 基于像素确定性度的对象分割视觉质量评分方法
CN112785618A (zh) * 2020-11-16 2021-05-11 南京理工大学 基于像素确定性度的对象分割视觉质量评分方法
CN114820502A (zh) * 2022-04-21 2022-07-29 济宁医学院附属医院 一种用于肠粘膜组织中蛋白激酶ck2的着色检测方法
CN114820502B (zh) * 2022-04-21 2023-10-24 济宁医学院附属医院 一种用于肠粘膜组织中蛋白激酶ck2的着色检测方法

Similar Documents

Publication Publication Date Title
CN104408717A (zh) 一种基于着色分离的病理图像颜色质量综合评价方法
Salehi et al. Pix2pix-based stain-to-stain translation: A solution for robust stain normalization in histopathology images analysis
CN112132843B (zh) 基于无监督深度学习的苏木精-伊红染色病理图像分割方法
EP1891602B1 (de) Verfahren zum segmentieren von leukozyten
CN106338520A (zh) 一种表板为拼板的多层实木复合地板表面缺陷的识别方法
DE10208696A1 (de) Verfahren zum schnellen Erfassen einer angenäherten Farbe einer Metalliclackfarbe
KR20080016847A (ko) 크로모겐 분리에 기초한 영상 분석 방법
Murakami et al. Color correction for automatic fibrosis quantification in liver biopsy specimens
CN108172278B (zh) 一种he染色病理图像颜色归一化方法
Faustino et al. Automatic embryonic stem cells detection and counting method in fluorescence microscopy images
CN104599271A (zh) 基于CIE Lab彩色空间的灰度阈值分割方法
CN101460090A (zh) 表征组织的方法
CN101324955A (zh) 基于颜色特征的植物根系图像分割方法
CN101523169A (zh) 用于使用L*a*b*色空间来分析皮肤的装置和方法
WO2018086771A1 (de) Verfahren und einrichtung zum ermitteln einer farbhomogenität von haaren
Boucheron et al. Use of imperfectly segmented nuclei in the classification of histopathology images of breast cancer
Montseny et al. A fuzzy approach to white blood cells segmentation in color bone marrow images
Kalaiselvi et al. Brain tumor detection from multimodal MRI brain images using pseudo coloring processes
CN107463913B (zh) 基于Lab的图像胶原纤维识别计算系统及方法
CN114937032A (zh) 基于染色分离的病理切片颜色相关质量评估方法
CN114708229A (zh) 一种病理切片数字图像的全层次分析系统
Bautista et al. Digital staining for multispectral images of pathological tissue specimens based on combined classification of spectral transmittance
CN104573668A (zh) 基于光谱反射率的面部色泽适应性自动识别方法
Septiana et al. Elastic and collagen fibers discriminant analysis using H&E stained hyperspectral images
CN112950585B (zh) 基于液基薄层细胞检测技术的宫颈癌细胞智能检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150311