CN115797246A - 病理图像质量评估、调节方法和系统、电子设备、介质 - Google Patents

病理图像质量评估、调节方法和系统、电子设备、介质 Download PDF

Info

Publication number
CN115797246A
CN115797246A CN202111057858.8A CN202111057858A CN115797246A CN 115797246 A CN115797246 A CN 115797246A CN 202111057858 A CN202111057858 A CN 202111057858A CN 115797246 A CN115797246 A CN 115797246A
Authority
CN
China
Prior art keywords
brightness
pathological image
value
quality
pathological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111057858.8A
Other languages
English (en)
Inventor
徐明杰
杨溪
陈俊强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Weiwei Medical Technology Co ltd
Original Assignee
Shanghai Weiwei Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Weiwei Medical Technology Co ltd filed Critical Shanghai Weiwei Medical Technology Co ltd
Priority to CN202111057858.8A priority Critical patent/CN115797246A/zh
Publication of CN115797246A publication Critical patent/CN115797246A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明提供了一种病理图像质量评估、调节方法、系统、电子设备和介质,其中,病理图像质量评估方法包括:将病理图像划分为若干个子区域;提取每个子区域的目标属性通道,得到目标属性区域;计算每一个目标属性区域的目标属性特征值;根据所有目标属性区域的目标属性特征值,计算病理图像的目标属性质量的评估值,其中,目标属性包括明亮度、对比度、饱和度或色调。本发明弥补了主观对病理图像的目标属性进行质量评估的不足,而且使得病理图像的目标属性质量有了客观评价标准。本发明能够对目标属性质量低的数字病理图像进行自适应调节归一化,实现轻量级、快速的数字病理图像归一化,提高标注效率、计算机辅助算法的准确性和稳定性。

Description

病理图像质量评估、调节方法和系统、电子设备、介质
技术领域
本发明涉及医学图像处理技术领域,尤其涉及一种病理图像质量评估、调节方法、系统、电子设备和介质。
背景技术
病理学作为基础医学与临床医学之间的桥梁,在医学中承担着不可替代的重要作用。随着医学影像技术的不断成熟和发展,数字图像在医学上的应用已逐渐成为医学信息解析和传递的重要媒介。
目前,由于受到经费有限、人员、专业知识、使用场景等多方面因素的影响,病理图像的采集在大多数情况下仍是通过人为干预的电子显微镜摄像进行采集。该方法存在如下缺陷:在图像的采集输入设置过程中会受到设备预设参数、机械误差、操作人员主观性等各方面影响,导致采集的彩色病理图像常存在不同切片之间明亮度、对比度、色调不一致等质量问题。这些图像质量不一的病理图像,不仅增加标注人员的日常标注压力,而且极大地影响后续采用计算机算法对图像中靶向目标的识别、分割的准确性和稳定性。
因此,在进行靶向细胞标注和设计机器学习算法(含深度学习)自动识别靶向目标前,对采集图像的质量进行统一预处理,不仅对标注人员有极大的帮助,也有利于计算机算法对靶向目标进行识别。
在现有技术的公开资料中还没有如何对病理图像的质量进行评估的技术方案,如果直接用于后续靶向目标的识别和/或分割,势必影响识别和/或分割的准确性和稳定性。
进一步地,发明人经研究发现,现有技术中数字病理图像的预处理方法,存在着以下缺陷:
(1)、一些细胞往往存在着颜色差异小、形态近似的现象,而现有技术中染色归一化往往关注细胞的形态特征保持不变和染色风格的归一化,忽略细胞本身在其敏感度高的染色风格下染色所呈现的颜色特征和纹理特征。另外,不同的染色风格本身就是针对不同的组织和细胞特点而设计实现,因此染色风格等的归一化,可能会造成原本对某一染色风格敏感的组织和细胞在染色归一化后缺失染色风格的敏感度,损失原本明显的医学特征。
(2)、对图像染色归一化往往会同时改变图像的色调、饱和度和明度,这会直接导致细胞损失原本的颜色特征。而采集到的数据集,可能仅存在亮暗度的大差异,色调、白平衡等的图像质量是统一的。
(3)、采用复杂的深度学习算法进行训练和预测,训练速度慢,训练占用资源大。
因此,如何提供一种病理图像质量评估方法,以提高病理图像的图像质量,成为本领域技术人员亟待解决的技术问题之一。
需要说明的是,公开于该发明背景技术部分的信息仅仅旨在加深对本发明一般背景技术的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
本发明的目的在于,针对相关技术中存在的上述缺陷中的一种或多种,提供一种病理图像质量评估、调节方法、系统、电子设备和介质,以对病理图像的明亮度质量进行客观评估、提高病理图像的图像质量。
为实现上述目的,本发明通过以下技术方案予以实现:一种病理图像质量评估方法,包括:将第一病理图像划分为若干个子区域;提取每个所述子区域的目标属性的通道,得到目标属性区域;计算每一个所述目标属性区域的目标属性特征值;根据所有所述目标属性区域的所述目标属性特征值,计算所述第一病理图像的目标属性质量的评估值;其中,所述目标属性包括明亮度、对比度、饱和度或色调。
可选地,所述目标属性为明亮度;
所述提取每个所述子区域的目标属性的通道,得到目标属性区域,为:提取每个所述子区域的V通道,得到明亮度区域;
所述计算每一个所述目标属性区域的目标属性特征值,为:
计算每一个所述明亮度区域的明亮度特征值;
所述根据所有所述目标属性区域的所述目标属性特征值,计算所述第一病理图像的目标属性质量的评估值,为:
根据所有所述明亮度区域的所述明亮度特征值,计算所述第一病理图像的明亮度质量的评估值。
可选地,在所述提取每个所述子区域的V通道,得到目标属性区域之前,还包括:
判断所述第一病理图像是否为HSV模型,若否,将所述第一病理图像转化为HSV模型。
可选地,所述计算每一个所述明亮度区域的明亮度特征值,包括:
统计每个V通道值对应的像素数量,并根据每个所述V通道值及其对应的像素数量得到所述明亮度区域的明亮度直方图;其中,所述明亮度直方图的横轴为所述V通道值,纵轴为与所述V通道值对应的像素点个数;
采用下述方式一和方式二中任一方式获取明亮度特征的左侧V通道值和右侧V通道值;并将所述左侧V通道值作为所述明亮度区域的明亮度下界值,将所述右侧V通道值作为明亮度上界值;
根据所述明亮度下界值和所述明亮度上界值,计算每个所述明亮度区域的明亮度特征值;
其中,所述方式一获取左侧V通道值和右侧V通道值的方法包括:
沿所述明亮度直方图的横轴方向,从所述明亮度直方图中最大的像素数量对应的所述V通道值开始,向左侧和/或右侧对获取到的所述像素数量进行累加;
直至累加结果达到预设置信阈值,得到明亮度特征的左侧V通道值和右侧V通道值;
所述方式二获取左侧V通道值和右侧V通道值的方法包括:
根据所述明亮度直方图的分布,沿所述明亮度直方图的横轴方向,轮流分别从最小的V通道值开始向右侧对获取到的所述像素数量进行累加、从最大的V通道值开始向左侧对获取到的所述像素数量进行累加;
直至累加结果达到预设置信阈值,得到明亮度特征的左侧V通道值和右侧V通道值。
可选地,所述根据所有所述明亮度区域的所述明亮度特征值,计算所述第一病理图像的明亮度质量的评估值,包括:
对于每一个所述明亮度区域,计算其明亮度特征值和预设明亮度权重值的乘积;其中,所有所述明亮度区域的预设明亮度权重值的和为1;
对所有所述明亮度区域的乘积求和,将求和结果作为所述第一病理图像的明亮度质量的评估值。
可选地,在根据所有所述明亮度区域的所述明亮度特征值,计算所述第一病理图像的明亮度质量的评估值之后,还包括:
根据预设分级标签规则和所述第一病理图像的明亮度质量的评估值,计算所述第一病理图像的明亮度质量的分级标签。
可选地,所述预设分级标签规则,包括:
采用线性变换方法,将所述明亮度质量的评估值归一化至1~C之间,其中,C为所述分级标签的等级数。
基于本发明的另一方面,本发明还提供了一种病理图像质量分类预测模型的生成方法,所述生成方法包括:
获取具有若干张第二病理图像的训练样本;其中,所述第二病理图像的分级标签通过上述任一项所述的病理图像质量评估方法评估出的目标属性质量的评估值得到;
采用无监督聚类算法,对所述训练样本进行聚类,直至满足预设训练终止条件,得到病理图像质量分类预测模型。
可选地,所述无监督聚类算法为模糊C聚类;所述采用无监督聚类算法,对所述训练样本进行聚类,直至满足预设训练终止条件,得到病理图像质量分类预测模型,包括:
步骤A:获取每一张所述第二病理图像的聚类类型和特征向量;其中,所述聚类类型,包括所述第二病理图像的分级标签,所述特征向量,包括根据所述第二病理图像的每个目标属性区域的目标属性特征值,计算得到;
步骤B:从所述训练样本中选取C个所述第二病理图像作为初始聚类中心,并初始化隶属度矩阵;其中,C为所述分类预测模型的所述聚类类型的个数,所述训练样本的隶属度的和始终为1;
步骤C:根据每个所述第二病理图像的特征向量,更新聚类中心;并求更新后的隶属度矩阵;
步骤D:判断更新后的隶属度矩阵和更新前的隶属度矩阵的矩阵差值是否满足预设迭代终止条件,若是,则获得所述病理图像质量分类预测模型;若否,执行步骤C。
基于本发明的又一方面,本发明还提供了一种病理图像质量评估方法,病理图像质量评估方法包括:
采用病理图像质量分类预测模型,对待评估病理图像样本中的第三病理图像进行分类预测;其中,所述病理图像质量分类预测模型采用如上述任一项所述的病理图像质量分类预测模型的生成方法得到;
根据所述分类预测的结果,得到每一张所述第三病理图像的目标属性质量的分级标签。
可选地,所述采用病理图像质量分类预测模型,对待评估病理图像样本中的第三病理图像进行分类预测,包括:
计算所述第三病理图像分别与所述病理图像质量预测分类预测模型的每一个聚类中心的隶属度矩阵值;
将与所述第三病理图像的隶属度矩阵概率值最大的聚类中心的分级标签,作为所述第三病理图像的分级标签。
基于本发明的再一方面,本发明还提供了一种病理图像质量调节方法,所述病理图像质量调节方法包括:
根据预设明亮度质量分级达标标准和病理图像的分级标签,确定图像质量待调节的第四病理图像;其中,所述病理图像的分级标签根据上述任一项所述的病理图像质量评估方法评估出的明亮度质量的评估值直接或间接得到;
计算所述第四病理图像的明亮度特征初始值和明亮度特征参考值;
根据所述明亮度特征初始值和明亮度特征参考值,获取所述第四病理图像的明亮度特征值的调节量;
根据所述明亮度特征初始值和所述明亮度特征值的调节量,调节所述第四病理图像的明亮度质量。
可选地,所述根据预设明亮度质量分级达标标准和病理图像的分级标签,确定图像质量待调节的第四病理图像,包括:
若所述病理图像的分级标签值<预设分级达标参考值,则所述病理图像为所述第四病理图像。
可选地,所述计算所述明亮度特征参考值,包括:
获取具有若干张质量达标的第五病理图像的参考样本,其中,所述第五病理图像的分级标签值≥预设分级达标参考值;
对每一张所述第五病理图像的明亮度进行直方图化,得到明亮度直方图;
根据所述参考样本中所有所述第五病理图像的所述明亮度直方图,得到明亮度并集直方图;
根据所述明亮度并集直方图,采用所述明亮度特征值直方图统计法,计算所述明亮度特征参考值。
可选地,所述根据所述预设基准明亮度特征值和所述明亮度特征初始值,获取明亮度特征值的调节量,包括:
求所述预设基准明亮度特征值和所述初始明亮度特征值的差值,将所述差值作为所述明亮度特征值的调节量。
基于本发明的另一方面,本发明还提供了一种病理图像获取系统,其所述病理图像获取系统包括,图像采集装置,以及图像质量评估装置或图像质量调节装置至少其中之一;
所述图像采集装置,被配置为获取病理图像;
所述图像质量评估装置,被配置为采用上述任一项所述的病理图像质量评估方法,对所述病理图像的质量进行评估;
所述图像质量调节装置,被配置为采用上述任一项所述的病理图像质量调节方法对所述病理图像的质量进行调节。
基于本发明的再一方面,本发明还提供了一种电子设备,所述电子设备包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现上述任一项所述的病理图像质量评估方法;
和/或上述任一项所述的病理图像质量分类预测模型的生成方法;
和/或上述任一项所述的病理图像质量调节方法。
基于本发明的另一方面,本发明还提供了一种可读存储介质,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现上述任一项所述的病理图像质量评估方法;
和/或任一项所述的病理图像质量分类预测模型的生成方法;
和/或任一项所述的病理图像质量调节方法。
与现有技术相比,本发明提供的病理图像质量评估、调节方法、系统、电子设备和介质,具有以下有益效果:
本发明提供的病理图像质量评估方法,将第一病理图像划分为若干个子区域,。将第一病理图像划分为若干个子区域;提取每个所述子区域的目标属性的通道,得到目标属性区域;计算每一个所述目标属性区域的目标属性特征值。由此,不仅充分考虑了病理图像所述有区域的目标属性,而且通过将病理图像划分为多个子区域,也简化了计算的更复杂度;进一步地,本发明提供的病理图像质量评估方法,根据所有所述目标属性区域的所述目标属性特征值,计算所述第一病理图像的目标属性质量的评估值;其中,所述目标属性包括明亮度、对比度、饱和度或色调。如此配置,不仅有利于医生观察分析靶向细胞、标注员对靶向细胞进行标注,更有利于后续应用于深度学习模型的大数据训练,实现对靶向目标的自动、准确的识别;而且弥补了主观对病理图像的明亮度、对比度、饱和度或色调进行质量评估的不足,使得病理图像的目标属性质量有了客观评价标准。
进一步地,本发明提供的病理图像质量分类预测模型的生成方法得到的病理图像质量分类预测模型,能够实现批量地、快速评估数字病理图像的明亮度质量。
进一步地,本发明提供的病理图像调节方法,能够对明亮度质量低的数字病理图像进行自适应调节归一化,实现轻量级、快速的数字病理图像归一化,从而提高标注员的标注效率、以及计算机辅助算法的准确性和稳定性。
综上,本发明提供的病理图像质量评估、调节方法、系统、电子设备和介质,能实现一种全流程自动化的轻量级快速批处理数字病理图像的预处理,其应用性广、泛化性强、效率高,可应用于全身多类组织、细胞的数字病理图像的预处理归一化。而且够快速、全自动、批量处理大量数字病理图像的预处理工作,从而帮助标注员更快、准、清晰地识别和标注靶向目标,提高机器学习和深度学习算法对靶向目标的识别、分割与定位的准确性和稳定性。
附图说明
图1为本发明实施例一提供的其中一种病理图像质量评估方法流程示意图;
图2为本发明施方式一获取左侧V通道值和右侧V通道值的原理示意图;
图3为本发明施方式二获取左侧V通道值和右侧V通道值的原理示意图;
图4为本发明一实施方式提供的病理图像质量分类预测模型的生成方法的流程示意图;
图5为本发明一实施方式提供的另外一种病理图像质量评估方法流程示意图;
图6为本发明一实施方式提供的病理图像质量调节方法流程示意图;
图7为本发明一实施方式提供的病理图像质量调节方法其中一种待调节病理图像的明亮度特征初始值的直方图示意图;
图8为本发明一实施方式提供的病理图像质量调节方法的其中一种病理图像调节前的图像;
图9为本发明一实施方式提供的病理图像质量调节方法其中一种明亮度特征参考值的直方图示意图;
图10为基于图7的明亮度特征初始值和图9明亮度特征参考值得到的其中一种待调节病理图像调节后的明亮度特征值的直方图示意图;
图11为图8应用本发明提供的病理图像质量调节方法后的病理图像;
图12为本发明一实施方式提供的病理图像获取系统的结构示意图;
其中,附图标记说明如下:
100-图像采集装置、200-图像质量评估装置、300-图像质量调节装置。
具体实施方式
为使本发明的目的、优点和特征更加清楚,以下结合附图对本发明提出的病理图像质量评估、调节方法、系统、电子设备和介质作进一步详细说明。需说明的是,附图均采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目的。应当了解,说明书附图并不一定按比例地显示本发明的具体结构,并且在说明书附图中用于说明本发明某些原理的图示性特征也会采取略微简化的画法。本文所公开的本发明的具体设计特征包括例如具体尺寸、方向、位置和外形将部分地由具体所要应用和使用的环境来确定。以及,在以下说明的实施方式中,有时在不同的附图之间共同使用同一附图标记来表示相同部分或具有相同功能的部分,而省略其重复说明。在本说明书中,使用相似的标号和字母表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。在适当情况下,如此使用的这些术语可替换。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
为了便于理解本发明,在具体介绍本发明提供的病理图像质量评估、调节方法、系统、电子设备和介质之前,先将发明人在提出本发明的过程中做出的相关调查研究说明如下:本发明的发明人经过大量的调查和不断深入的研究及总结发现,一些细胞往往存在着颜色差异小、形态近似的现象,而现有技术中对染色数字病理图像尤其是HE染色病理图像的染色归一化处理往往仅关注细胞的形态特征保持不变和染色风格的归一化,而忽略细胞本身在其敏感度高的染色风格下染色所呈现的颜色特征和纹理特征,且存在训练速度慢、训练占用资源大的现象。
为了克服上述缺陷,发明人根据针对染色病理图像(重点以HE图像为例)的研究与应用,经过与采集图像的医师们密切沟通,以及对采集图像的医师们的设备操作进行总结归纳,发现在病理HE图像采集过程中存在以下特点:病理切片上的具有临床意义的细胞在显微镜下呈现不同的颜色、形态特征,采集医生们通常在显微镜下观察、确认细胞颜色后,对显微镜下的切片区域进行图像采集。通常采集得到的图像色调基本呈现原始切片的红紫色,即与细胞的生理色调基本保持一致。但是,每一张病理切片的明亮度却往往依靠采集医师们的主观因素产生明显差异。
基于此,本发明提出的病理图像质量评估方法,包括:将第一病理图像划分为若干个子区域;提取每个所述子区域的目标属性的通道,得到目标属性区域;计算每一个所述目标属性区域的目标属性特征值;根据所有所述目标属性区域的所述目标属性特征值,计算所述第一病理图像的目标属性质量的评估值;其中,所述目标属性包括明亮度、对比度、饱和度或色调。由此,本发明提供的一种病理图像质量评估、调节方法、系统、电子设备和介质,以快速全自动处理HE染色数字病理图像,以实现对采集到的HE病理图像的目标属性质量进行准确评估,并自适应调节病理图像的目标属性质量,以实现归一化目标。为了避免赘述,下文仅以明亮度作为目标属性进行详细说明;但本领域的技术人员可以理解地,这并非本发明的限制:根据本文所述揭示的内容,无需经过创造性的劳动,只需将下文中有关明亮度的术语替换为对比度、饱和度或色调,即可对病理图像的对比度、饱和度或色调任一目标属性的质量进行评估和/或调节,即本发明揭示的病理图像质量评估、调节方法、系统、电子设备和介质,可以用于但不限于明亮度、对比度、饱和度或色调的质量评估和/或调节。
需要说明的是,本发明实施方式提供的电子设备包括但不限于个人计算机、移动终端等,该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。进一步地,本发明对病理图像的染色方式不作任何限制,所述第一病理图像包括但不限于HE染色、免疫组化染色、抗酸染色、Masson三色染色、天狼星红染色、油红O脂肪染色法、高碘酸染色、幽门螺杆菌银染色等等病理图像;本发明也不限制病理图像的来源,所述病理图像可以通过图像获取装置进行采集,例如专用的扫描成像系统等影像设备,也可以通过其他方式(比如互联网)搜集得到。
<实施例一>
本发明实例提供了一种病理图像质量评估方法,具体地,请参见图1,图1为本实施例提供的其中一种病理图像质量评估方法流程示意图。从图1可以看出,本实施例提供的一种病理图像质量评估方法,包括以下步骤:
S110:将第一病理图像划分为若干个子区域。
S120:提取每个所述子区域的V通道,得到明亮度区域。
S130:计算每一个所述明亮度区域的明亮度特征值。
S140:根据所有所述明亮度区域的所述明亮度特征值,计算所述第一病理图像的明亮度质量的评估值(亦即:明亮度特征值)。
由此可见,本发明提供的病理图像质量评估方法,将第一病理图像划分为若干个子区域,提取每个所述子区域的V通道(亮度值),得到明亮度区域,计算每一个明亮度区域的明亮度特征值。由此,不仅充分考虑了病理图像所有区域的明亮度,而且通过将病理图像划分为多个子区域,也简化了计算的复杂度;进一步地,本发明提供的病理图像质量评估方法,根据所有所述明亮度区域的所述明亮度特征值,计算所述第一病理图像的明亮度质量的评估值,能够根据每个子区域的明亮度特征值,获取第一病理图像的明亮度质量的评估值。如此配置,不仅有利于医生观察分析靶向细胞、标注员对靶向细胞进行标注,更有利于后续应用于深度学习模型的大数据训练,实现对靶向目标的自动、准确的识别;而且弥补了主观(比如标注员/医生)对病理图像的明亮度进行质量评估的不足,使得病理图像的明亮度质量有了客观的评价标准。
优选地,在步骤S120,提取每个所述子区域的V通道,得到目标属性区域之前,还包括:
判断所述第一病理图像是否为HSV模型,若否,将所述第一病理图像转化为HSV模型。如本领域的技术人员所理解地,在图像处理中,最常用的颜色空间是RGB模型,常用于颜色显示和图像处理,三维坐标的模型形式,非常容易被理解。而HSV模型,是针对用户观感的一种颜色模型,侧重于色彩表示,包括什么颜色、深浅如何、明暗如何。基于此,若所述第一病理图像为RGB模型,则将所述第一病理图像RGB通道转化为HSV通道。
较佳地,在其中一种示例性实施方式中,步骤S110中,所述将第一病理图像划分为若干个子区域,包括:将所述第一病理图像划分为I×J个子区域,其中,I、J为整数,且所述子区域的个数≥2。根据相关研究,注意力机制是对人类视觉的研究,人类在对信息处理过程中,会选择性的关注所有信息的一部分,同时忽略其余可见部分的信息。人类视网膜中央具有最强的敏锐度,在人们观察图像时,会选择性地集中关注图像中央区域,然后再观察图像周围区域。参考注意力机制,在其中一种示例性实施方式中,将每张图分为等长宽的9个区域,即3(I=3)×3(J=3)阵列的子区域。显然地,这并非本发明的限制,在又一实施方式中,也可以根据实际需要划分为4×4阵列共16个子区域;在再一实施方式中,也可以将所述第一病理图像划分为长宽不等的若干个子区域,比如中间的区域大,周边的区域小。即子区域的划分方式以及若采用阵列子区域时I、J的具体取值根据经验或实际情况确定,不再一一赘述。
较佳地,在其中一种示例性实施方式中,步骤S130中,所述计算每一个所述明亮度区域的明亮度特征值,包括采用明亮度特征值直方图统计法,具体地,所述明亮度特征值直方图统计法包括:
S131:统计每个V通道值对应的像素数量,并根据每个所述V通道值及其对应的像素数量得到所述明亮度区域的明亮度直方图;其中,所述明亮度直方图的横轴为所述V通道值,纵轴为与所述V通道值对应的像素数量。
S132:采用下述方式一和方式二中任一方式获取明亮度特征的左侧V通道值和右侧V通道值;并将所述左侧V通道值作为所述明亮度区域的明亮度下界值,将所述右侧V通道值作为明亮度上界值。
方式一:
具体地,请参见图2,图2为本发明施方式一获取左侧V通道值和右侧V通道值的原理示意图。从图2可以看出,所述方式一获取左侧V通道值和右侧V通道值的方法包括:
沿所述明亮度直方图的横轴方向,从所述明亮度直方图中最大的像素数量对应的所述V通道值开始,向左侧和/或右侧对获取到的所述像素数量进行累加;
直至累加结果达到预设置信阈值,得到明亮度特征的左侧V通道值和右侧V通道值。
具体地,根据所述明亮度直方图的分布,将所述V通道值对应的所述像素点数量从大到小累加,将累加结果满足预设置信阈值时对应的所述V通道值分别作为所述明亮度区域的明亮度下界值和明亮度上界值。需要说明的是,若所述明亮度直方图的分布成山峰形,则将累加结果满足预设置信阈值时对应的所述V通道值作为所述明亮度区域的明亮度下界值和明亮度上界值。若所述明亮度直方图的分布呈现单侧近似单调上升的山峰时:则将累加结果满足预设置信阈值时对应的所述V通道值分别作为所述明亮度区域的明亮度下界值,上界值设定为255。若所述明亮度直方图的分布呈现单侧近似单调下降的山峰时:则将明亮度下界值设定为0,则将累加结果满足预设置信阈值时对应的所述V通道值分别作为所述明亮度区域的明亮度上界值。进一步地,所述置信阈值应根据实际需要设置,本发明对所述置信阈值的具体取值不作任何限制。比如,在其中一种实施方式中,所述置信阈值设置为95%,即使用最能代表所述子区域明亮度的占总像素95%的像素点的明亮度计算所述明亮度区域的明亮度特征值;在另外的一种实施方式中,设置为90%,等等,不再一一赘述。
方式二:
所述方式二获取左侧V通道值和右侧V通道值的方法请参见图3,图3为本发明施方式二获取左侧V通道值和右侧V通道值的原理示意图。从图3可以看出,所述方式二获取左侧V通道值和右侧V通道值的方法包括:
根据所述明亮度直方图的分布,沿所述明亮度直方图的横轴方向,轮流分别从最小的V通道值开始向右侧对获取到的所述像素数量进行累加、从最大的V通道值开始向左侧对获取到的所述像素数量进行累加;
直至累加结果达到预设置信阈值,得到明亮度特征的左侧V通道值和右侧V通道值。
具体地,假如将所述置信阈值设置为5%,从明亮度直方图分布的最小和最大像素值,比如0和255,开始轮流从左向右和从右向左累加像素数量,当像素数量累计值达到明亮度直方图总像素数量的5%(1-0.95)时,得到的左侧像素值代表明亮度下界值,得到的右侧像素值代表明亮度上界值。若所述明亮度直方图的分布呈现单侧近似单调上升的山峰时,则从0开始单侧从左向右累加像素数量,同时明亮度上界值为255;若所述明亮度直方图的分布呈现单侧近似单调下降的山峰时,则从255开始单侧从右向左累加像素数量,同时明亮度下界值为0。
如此配置,本发明提供的病理图像质量评估方法,采用明亮度特征值直方图统计法,计算每一个明亮度区域的明亮度特征值,通过置信阈值,通过能够代表所述第一病理图像的明亮度值作为所述从而使得所述病理图像质量的评估方法更加轻巧和快速。
S133:根据所述明亮度下界值和所述明亮度上界值,计算所述明亮度区域的明亮度特征值。具体地,在其中一种实施方式中,将所述明亮度下界值和所述明亮度上界值的平均值作为所述明亮度区域的明亮度特征值;在又一实施方式中,也可以求所述明亮度下界值和所述明亮度上界值的加权平均值作为所述明亮度区域的明亮度特征值,在此,不再一一赘述。
较佳地,在其中一种示例性实施方式中,步骤S140中,所述根据所有所述明亮度区域的所述明亮度特征值,计算所述第一病理图像的明亮度质量的评估值,包括:
S141:对于每一个所述明亮度区域,计算其明亮度特征值和预设明亮度权重值的乘积;其中,所有所述明亮度区域的预设明亮度权重值的和为1。较佳地,在其中一种实施方式中,根据上述步骤S110中的注意力机制,参考二维高斯分布,可以每一个明亮度区域分配不同比例的明亮度权重值,比如位于所述第一病理图像中间的明亮度区域的权重值较位于所述第一病理图像边缘的明亮度区域的权重值大。本领域的技术人员可以理解地,这仅是较佳实施方式的描述,而非本发明的限制,在其他的实施方式中,也可以根据所述第一病理图像中器官组织或细胞的分布情况合理设置,在此不再一一赘述。
S142:对所有所述明亮度区域的乘积求和,将求和结果作为所述第一病理图像的明亮度质量的评估值。
特别地,本领域的技术人员可以理解地,本发明实施方式提供的病理图像质量评估方法一次对一张病理图像处理,若有多个待评估的病理图像,可以对每一张待评估的病理图像执行病理图像质量评估方法进行评估。
具体地,以RGB模型的待评估HE病理图像为例进行说明。首先,将所述待评估的HE病理图像分为等长宽的9个区域,然后通过图像转换将RGB通道转换为HSV通道,并提取V通道作为图像的明亮度区域,记9个等长宽的图像V通道区域为明亮度区域V[i,j],其中,i,j=1,2,3。
接着,计算每个明亮度区域V[i,j]的明亮度特征值:统计每个明亮度区域V[i,j]的直方图并记为HistV[k],其中,k=0,1,2…,255,k为像素点的亮度值。假定预设置信阈值(区间)为95%(经验值,实际应用中应根据实际情况设置)。
根据明亮度区域V[i,j]的直方图HistV[k]的分布,计算其明亮度特征值:
若待评估的HE病理图像的每个明亮度区域的HistV的分布均近似一个高耸的山峰形状,对0到255的每个V通道值对应的像素点个数进行由高到低的统计,并由高到低依次累加直到累加值占总值的95%(预设置信阈值),认定当累加值占总值达到95%时所对应的亮度值k为该V[i,j]的亮度下界,对应到HistV中,由于分布成山峰形,该亮度值k会在HistV中产生k_min和k_max两个直方图上下界。
若待评估的HE病理图像的每个明亮度区域的HistV的分布呈现单侧近似单调上升或下降的山峰时,若单调上升,k_max设定为255,若单调下降k_min设定为0。
将每个明亮度区域的明亮度特征值记为FeatV[i,j],其中,i,j=1,2,3,FeatV等于k_min和k_max的平均值,如下式:
Figure BDA0003255393350000161
显然地,在其他的实施方式中,也可以根据像素点的个数,通过对k_min和k_max之间的像素值进行加权运算得到,不再一一示例。
由此,计算得到9个明亮度区域的明亮度特征值FeatV,然后,根据步骤S110所述的注意力机制,参考二维高斯分布,为每个明亮度区域的明亮度特征值FeatV[i,j](i,j=1,2,3)分配不同比例的权重FeatW[i,j](i,j=1,2,3)。比如:
Figure BDA0003255393350000162
将待评估的HE病理图像的明亮度质量的评估值记为VQ,则VQ等于矩阵FeatV[i,j](i,j=1,2,3)与矩阵FeatW[i,j](i,j=1,2,3)的点积,如下式:
Figure BDA0003255393350000163
由此可见,本发明提供的病理图像质量评估方法,不仅能够合理量化了病理图像的明亮度质量,从而使得病理图像质量的评估更加客观,而且质量评估方法简单易行,便于实施。
较佳地,在其中一种示例性实施方式中,在步骤S140:根据所有所述明亮度区域的所述明亮度特征值,计算所述第一病理图像的明亮度质量的评估值之后,还包括:
S150:根据预设分级标签规则和所述第一病理图像的明亮度质量的评估值,计算所述第一病理图像的明亮度质量的分级标签。
具体地,在其中一种优选实施方式中,所述预设分级标签规则,包括:采用线性变换方法,将所述明亮度质量的评估值归一化至1~C之间,其中,C为所述分级标签的等级数。
假定C的取值为10,即根据所述待评估的HE病理图像的明亮度,将HE病理图像的明亮度质量等级划分为10级;最低等级为1级,最高等级为10级,级别越高,则质量越好。根据上述示例可知,经过步骤S133后计算得到的待评估的HE病理图像整体的明亮度质量的评估值VQ的范围为0到255,为了能按进行分级区分,在其中一个实施方式中,将VQ进行一个0到255的线性变换,分级共10级,从1级开始,每级按低到高依次建个25.5宽度区间。最终,得到的VQ值为1到10之间的10分位分级标签。显然地,如本领域的技术人员所能理解地,在其他的实施方式中,也可以分为5个等级,20个等级等,不再一一赘述。
综上,本发明提供的病理图像质量评估方法,将第一病理图像划分为若干个子区域,提取每个所述子区域的V通道,得到明亮度区域,计算每一个明亮度区域的明亮度特征值。由此,不仅充分考虑了病理图像所有区域的明亮度,而且通过将病理图像划分为多个子区域,也简化了计算的复杂度;进一步地,本发明提供的病理图像质量评估方法,根据所有所述明亮度区域的所述明亮度特征值,计算所述第一病理图像的明亮度质量的评估值。能够根据每个子区域的明亮度特征值,获取第一病理图像的明亮度质量的评估值。如此配置,不仅有利于医生观察分析靶向细胞、标注员对靶向细胞进行标注,更有利于后续应用于深度学习模型的大数据训练,实现对靶向目标的自动、准确的识别;而且合理量化了病理图像的明亮度质量,从而使得病理图像质量的评估更加客观,弥补了主观对病理图像的明亮度进行质量评估的不足,使得病理图像的明亮度质量有了更加客观的参考依据。
<实施例二>
本发明实施方式提供了一种病理图像质量分类预测模型的生成方法,具体地,请参见图4,图4为,从图4可以看出,本实施例提供的病理图像质量分类预测模型的生成方法,包括以下步骤:
S210:获取具有若干张第二病理图像的训练样本;其中,所述第二病理图像的分级标签根据实施例一中的任一实施方式所述的病理图像质量评估方法评估出的明亮度质量的评估值得到。
S220:采用无监督聚类算法,对所述训练样本进行聚类,直至满足预设训练终止条件,得到病理图像质量分类预测模型。
优选地,在其中一种示例性实施方式中,所述无监督聚类算法为模糊C聚类;所述对所述训练样本进行聚类,直至满足预设训练终止条件,得到病理图像质量分类预测模型,包括:
步骤A:获取每一张所述第二病理图像的聚类类型和特征向量;其中,所述聚类类型,包括所述第二病理图像的分级标签,所述特征向量,包括根据所述第二病理图像的每个明亮度区域的明亮度特征值计算得到。具体地,在其中一种示例性实施方式中,假如按照实施例一中的方式,将所述第二病理图像划分为3×3的9个子区域,将明亮度质量分为10个分级标签(即C=10),每个所述特征向量使用上述实施例一种计算的明亮度特征值FeatV[i,j](i,j=1,2,3),按行依次展开为一维特征向量FeatVector[m](m=1,2,3,…9),将一维特征向量FeatVector[m]作为所述第二病理图像的所述特征向量。其中,m为所述第二病理图像的子区域的个数。则所述特征向量FeatVector[m]:
FeatVector[m]=Flatten(FeatV)
=[FeatV[1,1],FeatV[1,2],FeatV[1,3],
FeatV[2,1],FeatV[2,2],FeatV[2,3],
FeatV[3,1],FeatV[3,2],FeatV[3,3]]
步骤B:从所述训练样本中选取C个所述第二病理图像作为初始聚类中心,并初始化隶属度矩阵;其中,C为所述分类预测模型的所述聚类类型的个数,所述训练样本的隶属度的和始终为1。
具体地,假定所述第二病理图像的个数为N,所述聚类类型的个数C=10,使用正态分布初始化隶属度矩阵U(0),由此可知,隶属度矩阵的大小为N×C,即N×10。如下式:
U(0)=Norm_Random(N,C)=uij,i∈[1,N],j∈[1,C]
Figure BDA0003255393350000191
Figure BDA0003255393350000192
式中,Norm_Random为随机函数,i为第i个第二病理图像;j为第j个聚类中心(为训练样本中的某一第二病理图像);uij为第i个第二病理图像相对于聚类中心j的隶属度值;⊙符号代表向量
Figure BDA0003255393350000193
沿U(0)矩阵水平方向对矩阵的每一行进行归一化点乘。由此,通过对每行U的归一化,保证U的每行和为1。
步骤C:根据每个所述第二病理图像的特征向量,更新聚类中心;并求更新后的隶属度矩阵。
具体地,在其中一种示例性实施方式中,根据每一张所述第二病理图像的样本矩阵X,更新每个聚类中心Cj,其中,j=1,2,…10。在第二病理图像的样本矩阵X的维度为N×A,其中,N为训练样本中第二病理图像的数量,A代表所述一维特征向量的特征数目。其中,在其中一种实施方式中,模糊系数m在这里设定为2,显然地,这并非本发明的限制,在其他的实施方式中,应根据实际需要合理设置,比如3、5等等。
第二病理图像相对于聚类中心j的隶属度矩阵值及第j个聚类中心Cj分别通过下式获得:
Figure BDA0003255393350000194
Figure BDA0003255393350000195
Figure BDA0003255393350000201
为模糊系数m(这里设定m=2)时、聚类中心j的隶属度向量,Cj为第j个聚类中心;k=1,2,…10。
保留当前周期的U(t),计算下一轮周期的U(t+1),t=0,1,2,…
Figure BDA0003255393350000202
式中,X为所述第二病理图像的样本矩阵。
步骤D:判断更新后的隶属度矩阵和更新前的隶属度矩阵的矩阵差值是否满足预设迭代终止条件,若是,则获得所述病理图像质量分类预测模型;若否,执行步骤C。
具体地,在其中一种实施方式中,判断更新前的隶属度矩阵U(t)与更新后的隶属度矩阵U(t+1)的差值矩阵diff(U),如果差值矩阵diff(U)每一个值均小于误差值ε,停止迭代,0<ε<1,比如,将ε设定为1e-6,如下式:
diff(U)=U(t+1)-U(t)
MAXij{diff(U)}<ε
至此,使用无监督的模糊C聚类算法的训练过程,获得训练完成的聚类中心C集合,即{Cj},j=1,2,…10。
特别地,本实施例虽然以模糊C聚类为例进行说明,仅是较佳实施方式的描述。如本领域技术人员可以理解地,本发明提供的病理图像质量分类预测模型的生成方法采用的无监督聚类方法,包括但不仅限于k-means聚类,模糊C聚类,层次聚类等。
如此配置,本发明提供的病理图像质量分类预测模型的生成方法得到的病理图像质量分类预测模型,能够实现批量地、快速评估数字病理图像的明亮度质量。而且,与人工评判病理图像的明亮度的方法相比,本发明实施例的训练样本的分级标签采用更加客观的方法获取,从而能够保证生成的所述述病理图像质量分类预测模型的预测的稳定性和可靠性。
<实施例三>
本发明实施例提供了一种病理图像质量评估方法,参见图5,图5为本发明一实施方式提供的另外一种病理图像质量评估方法流程示意图。从图5可以看出,本实施方式提供的病理图像质量评估方法,包括以下步骤:
S310:采用病理图像质量分类预测模型,对待评估病理图像样本中的第三病理图像进行分类预测;其中,所述病理图像质量分类预测模型采用实施例二中的任一项实施方式所述的病理图像质量分类预测模型的生成方法得到;
S320:根据所述分类预测的结果,得到每一张所述第三病理图像的明亮度质量的分级标签。
较佳地,在其中一种示例性实施方式中,所述采用病理图像质量分类预测模型,对待评估病理图像样本中的第三病理图像进行分类预测,包括:
S321:计算所述第三病理图像分别与所述病理图像质量预测分类预测模型的每一个聚类中心的隶属度矩阵值。其中,隶属度矩阵的计算方法可参见实施例二中的隶属度U(t +1)的计算方法,在此,不再赘述。
S322:将与所述第三病理图像的隶属度矩阵概率值最大的聚类中心的分级标签,作为所述第三病理图像的分级标签。
由此可见,本发明提供的病理图像质量评估方法,通过采用病理图像质量分类预测模型,对待评估病理图像样本中的第三病理图像进行分类预测;其中,所述病理图像质量分类预测模型采用实施例二中的任一项实施方式所述的病理图像质量分类预测模型的生成方法得到;并给根据所述分类预测的结果,得到每一张所述第三病理图像的明亮度质量的分级标签。如此配置,本发明提供的病理图像质量评估方法,不仅能够实现自动、快速评估数字病理图像的明亮度质量,而且能够在此基础上对数字病理图像的明亮度质量批量评估。
进一步地,可以通过本实施提供的病理图像质量评估方法,对实施例二中使用的训练样本的分级标签二次标定,通过对比二次标定的结果与实施例一中各实施例对训练样本分级标签的标定结果,来判断所述病理图像质量分类预测模型的预测的稳定性和可靠性。
<实施例四>
本发明实施方式提供了一种病理图像质量调节方法,参见附图6,图6为本发明一实施方式提供的病理图像质量调节方法流程示意图。从图6可以看出,本实施方式提供的病理图像质量调节方法,包括以下步骤:
S410:根据预设明亮度质量分级达标标准和病理图像的分级标签,确定图像质量待调节的第四病理图像;其中,所述病理图像的分级标签根据上述实施例一中的任一实施方式所述的病理图像质量评估方法评估出的明亮度质量的评估值得到或通过实施例三中任一项所述的病理图像质量评估方法得到。进一步地,有关所述病理图像的分级标签的获取过程,请参见上述有关病理图像质量评估方法相关的实施方式,在此,不再一一赘述。本领域的技术人员可以理解地,若所述第四病理图像为RGB模型,则首先应进行图像转换,将其转换为HSV模型,以便获取其V通道的值。
优选地,在其中一种示例性实施方式中,所述确定图像质量待调节的第四病理图像,包括:若所述病理图像的分级标签值<预设分级达标参考值,则所述病理图像为所述第四病理图像。
比如,在其中一种实施方式中,将所述预设分级达标参考值设为8,由此,将其中分级标签值为7或7以下的图像视为待调整明亮度的图像(即第三病理图像),其余分类等级8级或8级以上的图像视为明亮度优质图像(第四病理图像)。
S420:计算所述第四病理图像的明亮度特征初始值和明亮度特征参考值。
具体地,在其中一种示例性实施方式中,调节前的所述第四病理图像的明亮度特征值可以采用上文所述的明亮度特征值直方图统计法获取,即根据调节前的所述第四病理图像的像素点和V通道值,作为所述第四病理图像的明亮度特征初始值,在此,不再赘述。参见图7,图7本发明一实施方式提供的病理图像质量调节方法其中一种待调节病理图像的明亮度特征初始值的直方图示意图。从图7可以看出,调节前的第四病理图像的在直方图中的明亮度下界μmin为98,明亮度上界μmax为147,对所述明亮度下界μmin和所述明亮度上界μmax求平均,得到所述第四病理图像调整前的明亮度特征值μ为122.5,若病理图像的明亮度质量等级划分为10级,则该第四病理图像的分级标签为122.5÷25.5≈4.80≈5,根据前述预设分级达标参考值设为8,不难看出,该第四病理的明亮度质量未达标,需要进行明亮度调节。与此相对应,参见图8,其为本发明一实施方式提供的病理图像质量调节方法的其中一种病理图像调节前的图像,从图8可以看出,调节前的病理图像的亮度较差,不利于标注员快、准、清晰地识别和标注靶向目标,给后续的机器学习和深度学习算法对靶向目标的识别、分割与定位的准确性和稳定性带来不利影响。
优选地,在其中一种示例性实施方式中,步骤S420中,所述计算所述明亮度特征参考值,包括:
S421:获取具有若干张质量达标的第五病理图像的参考样本,其中,所述第五病理图像的分级标签值≥预设分级达标参考值。具体地,如前所述,将分类等级8级或8级以上的图像视为第五病理图像(明亮度优质图像)。特别地,本发明并不限制所述第五病理图像的来源,在其中一种实施方式中,可以通过实施例一种各实施方式提供的病理图像质量评估方法挑选出的明亮度优质图像;在另一种实施方式中,可以为实施二中病理图像质量分类预测模型的生成方法使用的训练样本中的明亮度优质图像;在又一种实施方式中,也可以为实施例三中通过病理图像质量分类预测模型分类预测挑选出的明亮度优质图像,在再一实施方式中,也可以是在确定第四病理图像的过程中,分离出的明亮度优质图像;在其他的实施方式中,也可以是采用上述各个实施方法中的两种或两种以上挑选出的明亮度优质图像,不再一一赘述。较佳地,所述第五病理图像的数量应达到适宜数量且其分级标签相对可靠。
S422:对每一张所述第五病理图像的V通道值进行直方图化,得到明亮度直方图。具体地,在其中一种实施方式中,所述明亮度直方图的横轴为所述第五病理图像的V通道值,纵轴为与所述V通道值对应的像素点个数。
S423:根据所述参考样本中所有所述第五病理图像的所述明亮度直方图,得到明亮度并集直方图。其中,所述明亮度并集直方图的横轴为V通道值,纵轴表示与所述V通道值对应的像素点个数。
具体地,在其中一种应用场景中,若所述参考样本共有M个第五病理图像,则采用下式得到明亮度并集直方图:
HistUnion={Hist[k]}={Max{Histi[k]}},k=0,1,2,…,255,i=1,2,…,M
式中,HistUnion为所述明亮度并集直方图;k为亮度值,i为第i个所述第五病理图像,Hishi[k]为第i个所述第五病理图像亮度值为k的像素点的个数。
S424:根据所述明亮度并集直方图,采用所述明亮度特征值直方图统计法,计算所述明亮度特征参考值。
具体地,在其中一种示例性实施方式中,如前所述,步骤S424中,所述明亮度特征值直方图统计法,包括:
S424-1:根据所述明亮度并集直方图的分布,将所述V通道值对应的所述像素点个数从大到小累加,将累加结果满足预设置信阈值时对应的所述V通道值分别作为所述待获取明亮度特征值病理图像的明亮度下界值和明亮度上界值。
S424-2:根据所述明亮度下界值和所述明亮度上界值,计算所述待获取明亮度特征值病理图像的所述明亮度特征参考值。
具体地,在其中一种实施方式中,对亮度值0到255的每个亮度的累计值进行由高到低的统计,并由高到低依次累加直到累加值占总值的95%,认定当累加值占总值达到95%时所对应的亮度k为整张图V通道的亮度下界,对应到HistUnionV中,由于分布成山峰形,该亮度值k会在HistUnion中产生直方图的下界值μmin和直方图的上界值μmax
若HistUnionV的分布呈现单侧近似单调上升或下降的山峰时,μmax为255,单调下降μmin为0。
μtarget等于k_min和k_max的平均值,如下式:
Figure BDA0003255393350000251
显然地,在其他的实施方式中,也可以根据像素点的个数,采用对μmin和μmax之间的像素值进行加权运算得到,不再一一示例。
参见图9,图9为本发明一实施方式提供的病理图像质量调节方法其中一种明亮度特征参考值的直方图示意图,从图9可以看出,在该实施方式中,明亮度并集直方图的下界值μmin和直方图的上界值μmax,则对所述明亮度下界μmin和所述明亮度上界μmax求平均,得到所述第四病理图像的所述明亮度特征参考值μtarget(即靶向图像的明亮度特征值)为215.5,明亮度质量等级划分为10级,则该第四病理图像的靶向图像(调节得到的目标图像)分级标签为215.5÷25.5≈8.4,根据前述预设分级达标参考值设为8,显然地,按照该目标对所述第四病理图像进行调节,能够使得调节后的所述第四病理图像的亮度满足亮度质量。
进一步地,本领域的技术人员可以理解的,在其他的实施方式中,所述明亮度特征参考值也可以根据实际需要,合理预先设置。或者,采用其他的方式,比如,对参考样本中的所有第五病理图像的明亮度特征值求平均、加权平均等,不再一一赘述,但均在本发明的保护范围之内。
S430:根据所述明亮度特征初始值和明亮度特征参考值,获取所述第四病理图像的明亮度特征值的调节量。
具体地,在其中一种实施方式中,可以将所述明亮度特征初始值和明亮度特征参考值的差值作为所述明亮度特征值的调节量;在另外的实施方式中,也可以根据所述明亮度特征初始值和明亮度特征参考值之间的加权平均值进行调节,本发明对此不作限制。
S440:根据所述明亮度特征初始值和所述明亮度特征值的调节量,调节所述待调节病理图像的质量。
具体地,在其中一种实施方式中,根据两个μ的差值对待调整明亮的图集的每张图进行V通道进行叠加,获得调节优化后的V通道Vadjust,如下式所示:
Vadjust=V+(μtargetobject)
式中,Vadjust为调节后的所述第四病理图像的明亮度特征值;V为调节前的所述第四病理图像的V通道值,μtarget为所述明亮度特征参考值,μobject为所述明亮度特征初始值。
参见图10和图11,其中,图10为基于图7的明亮度特征初始值和图明9亮度特征参考值得到的其中一种待调节病理图像调节后的明亮度特征值的直方图示意图;图11为图8应用本发明提供的病理图像质量调节方法后的病理图像。从图10可以看出,调节后的第四病理图像的明亮度直方图的下界值为191,上界值为240,调节后的明亮度特征值为215.5。总结如下表一:
表一:某一病理图像调节前后明亮度特征值及的明亮度特征值
下界值μ<sub>min</sub> 上界值μ<sub>max</sub> 明亮度特征值μ
调整前 98 147 122.5
靶向图像 176 255 215.5
调整后 191 240 215.5
结合上表,并对比附图8和附图11不难发现,与调节前相比,调节后的病理图像在不改变病理图像原有医学特征及颜色特的情况下,图像的明亮度质量有了显著提升。
进一步地,若待调节的所述第四病理图像为RGB模型,则还可以对调节优化后的HSVadjust通道图像转化为RGB通道的图像并保存,得到明亮度调节优化后的最终结果图像。
综上,本发明实施例提供的病理图像质量调节方法,将其中分类等级大于等于一预设阈值(比如8及8以上)的图像视为明亮度优质图集,其余分类等级小于所述预设阈值(如7及7以下)的图像视为待调整明亮度的图集,若病理图像为RGB通道,则首先由RGB通道转为HSV通道。对每张明亮度优质图集的V通道进行直方图化,然后统计该直方图的并集直方图,计算并集直方图的明亮度特征μtarget,该μtarget作为靶向目标。对待调整明亮的图集的每张图V通道,单独直方图化,并计算直方图的明亮度特征μobject,然后根据μtarget和μobject的差值对待调整明亮的图集的每张图进行V通道进行叠加。最后,再将HSV通道的图像转化为RGB通道的图像并保存,得到明亮度调节优化后的最终结果图像。
如此配置,旨在对采集到图像通过此设计的预处理方法得到明亮度上趋向一致的图像,有利于医生观察分析靶向细胞、标注员对靶向细胞进行标注更有利于后续应用于深度学习模型的大数据训练,从而实现对靶向目标的自动、准确的识别。
<实施例五>
本实例提供了一种病理图像获取系统,参见图12,图12为本发明一实施方式提供的病理图像获取系统的结构示意图。从图12可以看出,本实例提供的病理图像获取系统包括,图像采集装置100,以及图像质量评估装置200或图像质量调节装置300至少其中之一。
具体地,所述图像采集装置100,被配置为获取病理图像。包括但不限于专用的扫描成像系统、影像设备等。所述图像质量评估装置200,被配置为采用上述任一实施方式所述的病理图像质量评估方法,对所述病理图像的质量进行评估。所述图像质量调节装置300,被配置为采用上述任一实施方式所述的病理图像质量调节方法对所述病理图像的质量进行调节。
本发明提供的病理图像获取系统,与上述各实施方式提供的病理图像质量评估方法和/或病理图像质量调节方法属于同一发明构思,因此,至少具有相同的有益效果,在此,不再一一赘述。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
应当注意的是,在本文的实施方式中所揭露的系统和方法,也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的,例如,附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用于执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
基于同一发明构思,本发明的又一实施例还提供了一种电子设备,所述电子设备包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现上述任一实施方式所述的病理图像质量评估方法、所述的病理图像质量分类预测模型的生成方法、和/或所述的病理图像质量调节方法。
本发明的再一实施例还提供了一种计算机可读存储介质,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时可以实现上文实现上述任一实施方式所述的病理图像质量评估方法、所述的病理图像质量分类预测模型的生成方法、和/或所述的病理图像质量调节方法。
由于本发明提供的电子设备、计算计可读存储介质与本发明提供的病理图像质量评估方法、病理图像质量分类预测模型的生成方法、和/或病理图像质量调节方法属于同一发明构思,因此,至少具有相同的有益效果,在此,不再一一赘述。
本发明实施方式的可读存储介质,可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
需要说明的是,可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
由此可见,本发明提供的病理图像质量评估方法和系统,能够实现自动、快速评估数字病理图像的明亮度质量。
进一步地,本发明提供的病理图像质量分类预测模型的生成方法得到的病理图像质量分类预测模型,能够实现批量地、快速评估数字病理图像的明亮度质量。
进一步地,本发明提供的病理图像调节方法,能够对明亮度质量低的数字病理图像进行自适应调节归一化,实现轻量级、快速的数字病理图像归一化,从而提高标注员的标注效率、以及计算机辅助算法的准确性和稳定性。
综上,本发明提供的病理图像质量评估、调节方法、系统、电子设备和介质,能实现一种全流程自动化的轻量级快速批处理数字病理图像的预处理,其应用性广、泛化性强、效率高,可应用于全身多类组织、细胞的数字病理图像的预处理归一化。而且够快速、全自动、批量处理大量数字病理图像的预处理工作,从而帮助标注员更快、准、清晰地识别和标注靶向目标,提高机器学习和深度学习算法对靶向目标的识别、分割与定位的准确性和稳定性。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
综上,上述实施例对本发明提出的病理图像质量评估、调节方法、系统、电子设备和介质的不同构型进行了详细说明,当然,上述描述仅是对本发明较佳实施例的描述,并非对本发明范围的任何限定,本发明包括但不局限于上述实施中所列举的构型,本领域技术人员可以根据上述实施例的内容举一反三,本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。

Claims (18)

1.一种病理图像质量评估方法,其特征在于,包括:
将第一病理图像划分为若干个子区域;
提取每个所述子区域的目标属性的通道,得到目标属性区域;
计算每一个所述目标属性区域的目标属性特征值;
根据所有所述目标属性区域的所述目标属性特征值,计算所述第一病理图像的目标属性质量的评估值;其中,所述目标属性包括明亮度、对比度、饱和度或色调。
2.根据权利要求1所述的病理图像质量评估方法,其特征在于,所述目标属性为明亮度;
所述提取每个所述子区域的目标属性的通道,得到目标属性区域,为:提取每个所述子区域的V通道,得到明亮度区域;
所述计算每一个所述目标属性区域的目标属性特征值,为:
计算每一个所述明亮度区域的明亮度特征值;
所述根据所有所述目标属性区域的所述目标属性特征值,计算所述第一病理图像的目标属性质量的评估值,为:
根据所有所述明亮度区域的所述明亮度特征值,计算所述第一病理图像的明亮度质量的评估值。
3.根据权利要求2所述的病理图像质量评估方法,其特征在于,在所述提取每个所述子区域的V通道,得到目标属性区域之前,还包括:
判断所述第一病理图像是否为HSV模型,若否,将所述第一病理图像转化为HSV模型。
4.根据权利要求3所述的病理图像质量评估方法,其特征在于,所述计算每一个所述明亮度区域的明亮度特征值,包括:
统计每个V通道值对应的像素数量,并根据每个所述V通道值及其对应的像素数量得到所述明亮度区域的明亮度直方图;其中,所述明亮度直方图的横轴为所述V通道值,纵轴为与所述V通道值对应的像素数量;
采用下述方式一和方式二中任一方式获取明亮度特征的左侧V通道值和右侧V通道值;并将所述左侧V通道值作为所述明亮度区域的明亮度下界值,将所述右侧V通道值作为明亮度上界值;
根据所述明亮度下界值和所述明亮度上界值,计算所述明亮度区域的明亮度特征值;
其中,所述方式一获取左侧V通道值和右侧V通道值的方法包括:
沿所述明亮度直方图的横轴方向,从所述明亮度直方图中最大的像素数量对应的所述V通道值开始,向左侧和/或右侧对获取到的所述像素数量进行累加;
直至累加结果达到预设置信阈值,得到明亮度特征的左侧V通道值和右侧V通道值;
所述方式二获取左侧V通道值和右侧V通道值的方法包括:
根据所述明亮度直方图的分布,沿所述明亮度直方图的横轴方向,轮流分别从最小的V通道值开始向右侧对获取到的所述像素数量进行累加、从最大的V通道值开始向左侧对获取到的所述像素数量进行累加;
直至累加结果达到预设置信阈值,得到明亮度特征的左侧V通道值和右侧V通道值。
5.根据权利要求3所述的病理图像质量评估方法,其特征在于,所述根据所有所述明亮度区域的所述明亮度特征值,计算所述第一病理图像的明亮度质量的评估值,包括:
对于每一个所述明亮度区域,计算其明亮度特征值和预设明亮度权重值的乘积;其中,所有所述明亮度区域的预设明亮度权重值的和为1;
对所有所述明亮度区域的乘积求和,将求和结果作为所述第一病理图像的明亮度质量的评估值。
6.根据权利要求3所述的病理图像质量评估方法,其特征在于,在根据所有所述明亮度区域的所述明亮度特征值,计算所述第一病理图像的明亮度质量的评估值之后,还包括:
根据预设分级标签规则和所述第一病理图像的明亮度质量的评估值,计算所述第一病理图像的明亮度质量的分级标签。
7.根据权利要求6所述的病理图像质量评估方法,其特征在于,所述预设分级标签规则,包括:
采用线性变换方法,将所述明亮度质量的评估值归一化至1~C之间,其中,C为所述分级标签的等级数。
8.一种病理图像质量分类预测模型的生成方法,其特征在于,包括:
获取具有若干张第二病理图像的训练样本;其中,所述第二病理图像的分级标签根据上述权利要求1-7任一项所述的病理图像质量评估方法评估出的目标属性质量的评估值得到;
采用无监督聚类算法,对所述训练样本进行聚类,直至满足预设训练终止条件,得到病理图像质量分类预测模型。
9.根据权利要求8所述的病理图像质量分类预测模型的生成方法,其特征在于,所述无监督聚类算法为模糊C聚类;所述采用无监督聚类算法,对所述训练样本进行聚类,直至满足预设训练终止条件,得到病理图像质量分类预测模型,包括:
步骤A:获取每一张所述第二病理图像的聚类类型和特征向量;其中,所述聚类类型,包括所述第二病理图像的分级标签;所述特征向量,包括根据所述第二病理图像的每个目标属性区域的目标属性特征值,计算得到;
步骤B:从所述训练样本中选取C个所述第二病理图像作为初始聚类中心,并初始化隶属度矩阵;其中,C为所述分类预测模型的所述聚类类型的个数,所述训练样本的隶属度的和始终为1;
步骤C:根据每个所述第二病理图像的特征向量,更新聚类中心;并求更新后的隶属度矩阵;
步骤D:判断更新后的隶属度矩阵和更新前的隶属度矩阵的矩阵差值是否满足预设迭代终止条件,若是,则获得所述病理图像质量分类预测模型;若否,执行步骤C。
10.一种病理图像质量评估方法,其特征在于,包括:
采用病理图像质量分类预测模型,对待评估病理图像样本中的第三病理图像进行分类预测;其中,所述病理图像质量分类预测模型采用如权利要求8-9任一项所述的病理图像质量分类预测模型的生成方法得到;
根据所述分类预测的结果,得到每一张所述第三病理图像的目标属性质量的分级标签。
11.根据权利要求10所述的病理图像质量评估方法,其特征在于,所述采用病理图像质量分类预测模型,对待评估病理图像样本中的第三病理图像进行分类预测,包括:
计算所述第三病理图像分别与所述病理图像质量预测分类预测模型的每一个聚类中心的隶属度矩阵值;
将与所述第三病理图像的隶属度矩阵概率值最大的聚类中心的分级标签,作为所述第三病理图像的分级标签。
12.一种病理图像质量调节方法,其特征在于,包括:
根据预设明亮度质量分级达标标准和病理图像的分级标签,确定图像质量待调节的第四病理图像;其中,所述病理图像的分级标签根据上述权利要求1-7任一项所述的病理图像质量评估方法评估出的明亮度质量的评估值得到或通过权利要求10~11任一项所述的病理图像质量评估方法得到;
计算所述第四病理图像的明亮度特征初始值和明亮度特征参考值;
根据所述明亮度特征初始值和明亮度特征参考值,获取所述第四病理图像的明亮度特征值的调节量;
根据所述明亮度特征初始值和所述明亮度特征值的调节量,调节所述第四病理图像的明亮度质量。
13.根据权利要求12所述的病理图像质量调节方法,其特征在于,所述根据预设明亮度质量分级达标标准和病理图像的分级标签,确定图像质量待调节的第四病理图像,包括:
若所述病理图像的分级标签值<预设分级达标参考值,则所述病理图像为所述第四病理图像。
14.根据权利要求12所述的病理图像质量调节方法,其特征在于,所述计算所述明亮度特征参考值,包括:
获取具有若干张质量达标的第五病理图像的参考样本,其中,所述第五病理图像的分级标签值≥预设分级达标参考值;
对每一张所述第五病理图像的明亮度进行直方图化,得到明亮度直方图;
根据所述参考样本中所有所述第五病理图像的所述明亮度直方图,得到明亮度并集直方图;
根据所述明亮度并集直方图,采用所述明亮度特征值直方图统计法,计算所述明亮度特征参考值。
15.根据权利要求12所述的病理图像质量调节方法,其特征在于,所述根据所述预设基准明亮度特征值和所述明亮度特征初始值,获取明亮度特征值的调节量,包括:
求所述预设基准明亮度特征值和所述初始明亮度特征值的差值,将所述差值作为所述明亮度特征值的调节量。
16.一种病理图像获取系统,其特征在于,包括,图像采集装置,以及图像质量评估装置或图像质量调节装置至少其中之一;
所述图像采集装置,被配置为获取病理图像;
所述图像质量评估装置,被配置为采用如权利要求1-7或11任一项所述的病理图像质量评估方法,对所述病理图像的质量进行评估;
所述图像质量调节装置,被配置为采用如权利要求12-15任一项所述的病理图像质量调节方法对所述病理图像的质量进行调节。
17.一种电子设备,其特征在于,包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现权利要求1至7、或10-11中任一项所述的病理图像质量评估方法;
和/或权利要求8-9任一项所述的病理图像质量分类预测模型的生成方法;
和/或权利要求12-15任一项所述的病理图像质量调节方法。
18.一种可读存储介质,其特征在于,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求1至7、或10-11中任一项所述的病理图像质量评估方法;
和/或权利要求8-9任一项所述的病理图像质量分类预测模型的生成方法;
和/或权利要求12-15任一项所述的病理图像质量调节方法。
CN202111057858.8A 2021-09-09 2021-09-09 病理图像质量评估、调节方法和系统、电子设备、介质 Pending CN115797246A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111057858.8A CN115797246A (zh) 2021-09-09 2021-09-09 病理图像质量评估、调节方法和系统、电子设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111057858.8A CN115797246A (zh) 2021-09-09 2021-09-09 病理图像质量评估、调节方法和系统、电子设备、介质

Publications (1)

Publication Number Publication Date
CN115797246A true CN115797246A (zh) 2023-03-14

Family

ID=85417005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111057858.8A Pending CN115797246A (zh) 2021-09-09 2021-09-09 病理图像质量评估、调节方法和系统、电子设备、介质

Country Status (1)

Country Link
CN (1) CN115797246A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824116A (zh) * 2023-06-26 2023-09-29 爱尔眼科医院集团股份有限公司 一种超广角眼底影像识别方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824116A (zh) * 2023-06-26 2023-09-29 爱尔眼科医院集团股份有限公司 一种超广角眼底影像识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107977671B (zh) 一种基于多任务卷积神经网络的舌象分类方法
Öztürk et al. Skin lesion segmentation with improved convolutional neural network
CN110120040B (zh) 切片图像处理方法、装置、计算机设备和存储介质
WO2021139258A1 (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
US8600143B1 (en) Method and system for hierarchical tissue analysis and classification
US20210142477A1 (en) Bone Age Assessment And Height Prediction Model, System Thereof And Prediction Method Thereof
CN111738064B (zh) 一种雾霾图像的雾浓度识别方法
US20210216745A1 (en) Cell Detection Studio: a system for the development of Deep Learning Neural Networks Algorithms for cell detection and quantification from Whole Slide Images
Ghazal et al. Automated framework for accurate segmentation of leaf images for plant health assessment
CN112132166A (zh) 一种数字细胞病理图像智能分析方法、系统及装置
Joseph et al. Quantitative and qualitative evaluation of deep learning automatic segmentations of corneal endothelial cell images of reduced image quality obtained following cornea transplant
Panigrahi et al. Background segmentation and dimensional measurement of corn germplasm
CN109002831A (zh) 一种基于卷积神经网络的乳腺密度分类方法、系统及装置
CN117809124B (zh) 基于多特征融合的医学图像关联调用方法及系统
CN115760858A (zh) 基于深度学习的肾脏病理切片细胞识别方法及系统
CN116824203A (zh) 基于神经网络的青光眼的识别装置和识别方法
Fernández-Carrobles et al. Automatic quantification of IHC stain in breast TMA using colour analysis
CN115797246A (zh) 病理图像质量评估、调节方法和系统、电子设备、介质
US20230096719A1 (en) Scalable and high precision context-guided segmentation of histological structures including ducts/glands and lumen, cluster of ducts/glands, and individual nuclei in whole slide images of tissue samples from spatial multi-parameter cellular and sub-cellular imaging platforms
CN117274278B (zh) 基于模拟感受野的视网膜图像病灶部位分割方法及系统
CN116468690B (zh) 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统
Heravi et al. Low price foot pressure distribution screening technique: Optical podoscope with accurate foot print segmentation using hidden Markov random field model
CN116468923A (zh) 一种基于加权重采样聚类不稳定性的图像强化方法及装置
CN113255781B (zh) Cp-ebus的代表性图片选取方法、装置以及诊断系统
CN111401119A (zh) 细胞核的分类

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Xu Mingjie

Inventor after: Zhao Keqing

Inventor after: Zhai Changwen

Inventor after: Yang Xi

Inventor after: Chen Junqiang

Inventor before: Xu Mingjie

Inventor before: Yang Xi

Inventor before: Chen Junqiang

CB03 Change of inventor or designer information