CN116188423A - 基于病理切片高光谱图像的超像素稀疏解混检测方法 - Google Patents
基于病理切片高光谱图像的超像素稀疏解混检测方法 Download PDFInfo
- Publication number
- CN116188423A CN116188423A CN202310151695.2A CN202310151695A CN116188423A CN 116188423 A CN116188423 A CN 116188423A CN 202310151695 A CN202310151695 A CN 202310151695A CN 116188423 A CN116188423 A CN 116188423A
- Authority
- CN
- China
- Prior art keywords
- pixel
- super
- image
- sub
- hyperspectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Abstract
本发明公开了一种基于病理切片高光谱图像的超像素稀疏解混检测方法,所述方法包括如下步骤:步骤一:利用基于差分方程的超像素分割算法对高光谱图像进行聚类;步骤二:从检测端元库A中选择端元矩阵M,采用基于精英解选择的改进的多目标并行优化稀疏解混算法对分割后的图像进行解混,得到多个候选端元解集;步骤三:引入效用函数法用于多目标优化问题Pareto前沿拐点的判定,获取最优解,再利用全约束最小二乘法计算出相应的丰度矩阵S;步骤四:结合超像素分割子块及其丰度值较大的几个端元收集各类组织特征的模板,并对待检测切片进行逐分割子块的匹配检测。该方法具有解混速度快、鲁棒性强、检测精度高的特点。
Description
技术领域
本发明属于高光谱图像领域,涉及一种利用组织病理切片的稀疏解混检测方法,具体涉及一种基于病理切片高光谱图像的超像素多目标稀疏解混检测方法。
背景技术
高光谱成像(HIS)技术是近十几年发展起来的集探测器件、精密光学器械、微弱信号检测、计算机及信息处理等技术于一体的综合性影像技术,不但具有光谱范围广、光谱分辨率高以及图谱合一的特点,而且具有光谱图像信息量丰富、识别度较高和数据描述模型多等诸多优势。研究表明,HSI可以作为一种新兴的医疗应用方式,特别是应用在疾病诊断和图像引导手术中。HSI获得三维数据集,称为图像立方体,具有两个空间维度和一个光谱维度。如果在疾病进展过程中组织发生吸收、自荧光和散射等物理特性变化,所获得的高光谱图像就会携带组织病理学的定量信息。因此,与特定组织相关的光谱可以作为疾病筛查、检测和诊断的基础。HSI在宫颈、乳腺、结肠、头颈部、前列腺、卵巢和淋巴结等部位的癌症诊断中已显示出巨大的潜力。
超像素是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了图像分割后的有效信息,且一般不会破坏图像中物体的边界信息。将超像素分割技术应用到医学高光谱图像领域可以将某区域内相似的特征合并,降低图像处理的维度。简单线性迭代聚类方法(SLIC)是一种基于梯度的快速分割算法,常被用于执行超像素分割。该算法首先选中图像上某一个邻域内最小的像素值作为最初的种子点,按一定的步长和搜索范围以颜色距离、空间距离和归一化距离对周围像素点进行聚类,SLIC采用lab彩色图像平面空间,像素的颜色矢量在CIELAB彩色空间中用[l,a,b]T表示。
稀疏解混问题是指由于场景中的端元数远小于先验光谱库中所包含的特征信号数——光谱库所包含的典型端元光谱向量个数,对于图像中每一个混合光谱向量,其对应的丰度具有稀疏特性。换句话说,稀疏解混问题表述为在冗余光谱库内选取最小端元子集实现混合光谱向量的线性重构。基于光谱库的高冗余性,预先从光谱库内检测出图像中所包含的端元组分,将其作为检测端元,就可以将大型的稀疏回归问题简化为简单的线性回归问题,从而在低维度上对丰度信息进行准确估计。
多目标遗传算法是由多目标优化算法结合遗传算法而成的新兴算法。目前广泛应用的多目标遗传优化算法包括NSGA-II、MOEA/D等。NSGA-II算法是一种基于快速排序与精英解选择的多目标遗传算法,其引入了拥挤距离和非支配优先级,从而使得最终候选集具有良好的函数收敛性与空间分布特性。精英解指的是遗传算法优化过程中当前群体中的最优个体,其作为精英个体不进行遗传配对而直接进入下一子代,从而保证了遗传算法理论上的全局收敛性。考虑多目标优化问题中的Pareto改善,在没有使任何目标变差的前提下,使得至少一个目标更好。Pareto最优的状态就是不可能有更多的Pareto改善的状态。一组目标函数最优解的集合称作Pareto最优集,最优集在空间上形成的曲面称为Pareto前沿面。该算法采用拥挤度和拥挤度比较算子,不但克服了NSGA算法中需要人为指定共享参数的缺陷,而且其作为种群中个体间的比较标准,使得准Pareto域中的个体能均匀地扩展到整个Pareto域,保证了种群的多样性。该算法首先任意初始化一个种群(基种群),一个种群就是很多个个体的集合,一个解对应一个个体。然后让这些个体变异、交叉(随机地变化、相互结合产生新的解),然后保留优良的个体,同时要保持种群多样性,以保留发展出新种群的可能性。经过若干代后,种群就会趋于稳定,进化到一定次数就停止算法。
发明内容
为了克服病理高光谱数据冗余信息量大、图像中细胞相对分散而导致恶性细胞检测准确率低的困难,本发明提供了一种基于病理切片高光谱图像的超像素稀疏解混检测方法。该方法对病理切片图像进行聚类降维,引入超像素分割并改进解混算法,进而提高检测的精度,能够以更高精度检测出组织切片的病变部分,具有解混速度快、鲁棒性强、检测精度高的特点。
本发明的目的是通过以下技术方案实现的:
一种基于病理切片高光谱图像的超像素稀疏解混检测方法,包括如下步骤:
步骤一:利用基于差分方程的超像素分割算法对高光谱图像进行聚类;
步骤二:从检测端元库A中选择端元矩阵M,采用基于精英解选择的改进的多目标并行优化稀疏解混算法对分割后的图像进行解混,得到多个候选端元解集;
步骤三:引入效用函数法用于多目标优化问题Pareto前沿拐点的判定,获取最优解,再利用全约束最小二乘法计算出相应的丰度矩阵S;
步骤四:结合超像素分割子块及其丰度值较大的几个端元收集各类组织特征的模板,并对待检测切片进行逐分割子块的匹配检测。
相比于现有技术,本发明具有如下优点:
本发明提出了一种基于超像素分割的解混检测方法,超像素分割能够精简图像信息的表达,同时能够保留明显的形状、光谱、边缘等图像特征信息,以低维图形表达完整图像特征,降低算法处理的复杂程度,从而提高解混速度。通过利用检测端元对高光谱图像进行解混,结合结构相似性指数,可以实现利用解混结果的异常检测。同时,单个超像素反映区域一致的分布,从而对应像元能够共享同一端元集合与相似丰度信息,将大型图像数据分解为具有光谱与空间相关性的子块以描述区域光谱混合关系,利用改进的多目标稀疏解混算法,将多目标优化问题以一种“长-短结合”的方式并行计算,极大的提升了算法的计算能力;该算法充分探索解空间,解决了光谱空间高冗余和高相干的问题,提高了解混结果精度,使得重构图像拥有更高的检测精度,检测结果更加准确。
附图说明
图1为本发明基于病理切片高光谱图像的超像素稀疏解混检测方法的实施流程;
图2为显微镜下的胃部组织高光谱图像(中心光谱为590nm的波段);
图3为带标记的胃部组织图像(中心光谱为590nm的波段)。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明,但并不局限于此,凡是对本发明技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,均应涵盖在本发明的保护范围中。
本发明提供了一种基于病理切片高光谱图像的超像素稀疏解混检测方法,采用高光谱显微镜采集数据获得高光谱影像并执行基于差分方法的超像素分割;基于检测端元,利用改进的多目标稀疏解混算法将得到的分割图像进行端元提取和丰度反演;最后利用基于结构相似性指数的特征匹配方法检测图像中区域是否有异常特征。如图1所示,共分为四个步骤,具体步骤如下:
步骤一:采用高光谱显微镜拍摄高光谱图像,利用基于差分方程改进的超像素分割算法对高光谱图像进行聚类。具体步骤如下:
步骤一一、在对高光谱图像进行分割之前,先用PCA降维方法对数据进行降维处理;
步骤一二、为了避免初始超像素聚类中心落在边缘特征像素上,使用差分方程找到邻域像素值的最小梯度像素点作为新的聚类中心;
步骤一三、针对高光谱图像,利用改进后的超像素分割算法对图像进行分割:
步骤一三一、对于给定图像像素点N,将图像分割为Ks个尺寸相同的子块,则每个超像素的大小为N/Ks,相邻聚类中心的步长为Sp=(N/Ks)1/2;
步骤一三二、为了避免聚类中心落在噪声点或者像素边缘,在每个中心点的3×3邻域内利用差分方程遍历8邻域内的像素点,求得最小梯度值G(x,y):
G(x,y)=dx(i,j)+dy(i,j);
dx(i,j)=I(i+1,j)-I(i,j);
dy(i,j)=I(i,j+1)-I(i,j);
其中,dx,dy分别为在x和y方向上相邻像素I的梯度差;
步骤一三三、有了最小梯度,将其作为初始像素聚类中心点之后,在2Sp×2Sp邻域内通过欧式距离对像素点进行聚类:
其中,改进的SLIC算法中颜色距离dc被替换为定义在高光谱影像对应光谱空间的欧式距离,分别代表质心k与其所在搜索空间中第i个点光谱特征向量,/>表示实数空间,/>表示L维光谱特征向量组成的实空间;dxy表示空间距离,(xi,yi)和(xk,yk)表示第i个点和质心k的坐标;Ds是归一化距离,参数ms指定超像素的紧凑性;聚类中心点的残差E定义为先前中心C(i-1)与重新计算的中心之间C(i)的L1范数距离,记为:
其余每个像素点都会与所有的聚类中心有一个距离,取其中距离的最小值所对应的中心像素作为该像素点的聚类中心,在lab彩色图像平面空间计算从属于聚类中心的平均向量作为新的聚类中心;找到新的聚类中心之后,比较该中心的残差E和阈值ε,若不满足条件E≤ε,则重新在每个中心的2Sp×2Sp内计算新的聚类中心,一直迭代,直到残差E小于设定阈值ε后,将聚类中心周围的孤立点进行强制合并,最终得到Ks个超像素块。
步骤二:从检测端元库A中选择端元矩阵M,采用基于精英解选择的改进的多目标并行优化稀疏解混算法对分割后的图像进行解混,得到多个候选端元解集。改进的多目标稀疏解混算法的思路是通过一种“长-短结合”的遗传算法,即先对超像素的聚类中心进行优化,再对超像素内像元并行迭代优化,得到所有超像素子块的候选端元解集。具体步骤如下:
步骤二二、指定个体稀疏度、对应平均光谱的重构误差、以及丰度和与1误差三者构成优化问题的优化对象用深度非支配排序遗传算法对所有超像素子块中的平均光谱以训练最大迭代数T1求解下式优化问题,得到个体I的集合,此处称为基种群
其中,Ii∈{0,1},对于ai∈M用Ii=1表示遗传算法中的个体染色体集合,意为当库A中的检测端元aj在端元矩阵M里时Ij为1,否则为0;为子块Yi的平均光谱,即该超像素块内所有相似光谱的算术平均值;MI表示包含个体染色体集合I的端元矩阵;/>为平均光谱/>对应的全约束丰度矩阵;算子||·||2表示2-范数,‖·‖2,1=∑||·||2;λ为平衡因子,W为对角矩阵,其每行的行分量wi与/>中每行的行分量/>成反比;当/>中一行的行分量/>值为0时,增加一个极小值ε0,对应的wi非常大,公式的约束力也就相应增强,稀疏效果越好:
步骤二四、以浅层非支配遗传算法以最大迭代数T2求解下式优化问题,得到子种群EPj:
同理,si为yi对应的全约束丰度矩阵。
步骤三:引入效用函数法用于多目标优化问题Pareto前沿拐点的判定,获取最优解,再利用全约束最小二乘法计算出相应的丰度矩阵S。具体步骤如下:
步骤三一、整合所有子种群EPj,构建超像素子块Yi的最优解集Gi;
步骤三二、将所有超像素子块的最优解集通过求取下式最优解问题进行合并,得到合并后的解集{Gi|1≤i≤Ks}:
其中,g1(I)=||I||0,表示个体的稀疏度,||I||0表示I中非零元素的个数;为全局的图像重构误差,g3(I)=max|Yc-M*Sc|为在超像素水平上评估图像的局部重构误差,即在图像水平与超像素水平同时评估端元矩阵M,Y为图像数据,Yc为重构的图像数据,Sc为全约束丰度矩阵;在求解最优合并解集时,变异率设置为0,以避免对空间的进一步探索,最大迭代数为T3;为了降低算法计算复杂度,在求解多目标最优解时一般要求T1>>T2>T3,三次优化的最大迭代数分别设置为100、40、20;;在实现过程中为使算法快速收敛,在对候选集进行合并时,依据超像素平均光谱的光谱角大小依次进行合并计算;
Ω<(u,v)={i∈Ω∣ui<vi}
Ω>(u,v)={i∈Ω∣ui>vi}
步骤三六、利用全约束最小二乘法计算出相应的丰度矩阵S。
步骤四:结合超像素分割子块及其丰度值较大的几个端元可以收集各类组织特征的模板,并对待检测切片进行逐分割子块的匹配检测。具体步骤如下:
步骤四一、根据得到的超像素分割子块,依照该子块所包含的端元可以归纳出这些端元所含有的已知组织的图像,形成一个按照端元来区别的模板子块图像,这项工作需要找出大批量不含病变、含病变且不同分化等级的组织切片并按照步骤二进行超像素分割及稀疏解混,而且要挑选端元数量小于等于3的那些子块群体。
步骤四二、对于一个待检测的病理切片,按照步骤二得到各个超像素子块,依据其主要的端元来找出已知组织切片的模板子块图像,这里主要的是指按照端元丰度从大到小排列后的前3种端元。
步骤四三、引入改进的基于结构相似性指数(Modified Structural SimilarityIndex measure,MSSIM)的特征匹配方法,利用解混后得到的丰度矩阵及端元进行图像重构。
MSSIM用于判断两个给定图像之间的相似性;MSSIM主要通过亮度对比、对比度对比和结构对比这三个测量指数来计算两幅图片之间的相似性:
其中,imgl(x,y)代表图像亮度相似性,imgc(x,y)代表图像对比度相似性,imgs(x,y)代表图像结构相似性,其中ux和uy分别表示图像X和Y的均值,和/>分别表示图像X和Y的方差,σxy表示图像X和Y的协方差,c1=(k1L)2,c2=(k2L)2为两个常数,L为图像灰度级数,为了符合医学图像的像素特征,避免分母为0,取k1=0.02,k2=0.03,c3=c2/2,而MSSIM定义为:
MSSIM(x,y)=[imgl(x,y)α·imgc(x,y)β·imgs(x,y)γ]
取指数α,β,γ均为1,则:
MSSIM函数的值域为[0,1],MSSIM的值越大说明图像之间的失真越少,两幅图像的相似度越高。
步骤四四、将重构后的图像与含有已知特征的检测模板进行比对,通过MSSIM输出的系数值实现该切片组织的匹配检测问题,即回答待检测切片的各个超像素子块都匹配什么等级的组织切片,如果该子块的MSSIM检测结果小于判定阈值,那么需要更换匹配的模板子块图像,随着模板越来越丰富,最终能够检测出各种特征的组织病理问题。
本步骤中,将重构后的图像与数据库中的检测模板进行比对,即计算重构图像的MSSIM值与设定的检测阈值相比较,即完成一次检测任务。
步骤四五、本步骤需要逐个对所有超像素分割后的子块进行匹配检测,因此要对所有超像素分割后的子块多次执行步骤四三和步骤四四,最终形成整个待检测切片的检测结果。
实施例:
执行步骤一:标准化样本数据采集过程主要包括了医学样本获取和实验数据采集两个步骤。将切片置于显微镜物镜下,以低倍率(5x)到高倍率(100x)的顺序观察组织样本,确定具体放大倍率。本发明根据细胞组织的特点和光谱提取的需求,确定20x物镜放大倍率。采集设备为挂接一台LCTF滤镜的医用2000万像素摄像头,最后采集得到由240张以1nm中心光谱分辨率(从450nm到689nm)记录的灰度图像组成的数据立方体,对焦点为590nm。每幅灰度图像由1392×1040像素组成,空间分辨率为1μm,目镜为10倍。切片的高光谱影像数据如图2和图3所示,图2为显微镜下的胃部组织图像,图3中用粗线标记的区域为匹配检测区域。
然后对采集的高光谱图像进行超像素分割,在分割之前先将图像采用PCA方法进行降维,维数r设置为5。鉴于切片中细胞数量比较多,位置分散,选择超像素个数Ks为200,紧凑性参数ms=5。
对于医学应用来说,光谱分析可以获得生物组织样本上某一点在感兴趣波长范围的完整光谱,对不同病理组织的化学组成和物理特征进行分析;而光学成像技术则提供了各组织结构的空间分布信息,实现了不同病理结构的直观呈现。医学高光谱成像将二维图像信息与一维光谱信号结合为一个三维数据立方体,它不仅包括了丰富的空间信息,同时包含了反映生物组织特性的光谱信息,这样能准确区分出不同的病理组织成分。
执行步骤二:采用非支配排序遗传算法对每个超像素子块进行迭代求解。将像素子块的平均光谱作为输入,设置种群个数N=200。在遗传算法的求解过程中,个体新性状用交叉和变异算子计算生成。给定亲代Ik、Il与交叉算子生成的子代Ic和变异算子生成的子代Im,则子代的性状可由亲代基因交叉和变异决定:
其中,Id表示个体的第d个等位基因,随机向量r服从0-1的均匀分布,cr=0.5为常数,μ∈(0,1)为等位基因的突变率。交叉比例设为0.8,突变比例设为0.2,个体等位基因的突变率设置为0.06。
执行步骤三:整合所有子种群EPj,构建像素子块Yi的最优解集Gi。将所有超像素子块的最优解集通过求取下式最优解进行合并得到合并后的解集{Gi}:
其中,g1(I)=||I||0,表示个体的稀疏度,为全局的图像重构误差,g3(I)=max|Yc-M*Sc|为在超像素水平上评估图像的局部重构误差。在求解最优合并解集时,变异率设置为0,以避免对空间的进一步探索,最大迭代数为T3。为了降低算法计算复杂度,在求解多目标最优解时一般要求T1>>T2>T3,三次优化的最大迭代数分别设置为100、40、20;在实现过程中为使算法快速收敛,在对候选集进行合并时,依据超像素平均光谱的光谱角大小依次进行合并计算。/>
Ω<(u,v)={i∈Ω∣ui<vi}
Ω>(u,v)={i∈Ω∣ui>vi}
决策单元能够在众多非支配候选解中确定单一解,从而实现对先验库内活跃端元的辨识工作,得到最终端元的特征光谱信息。通过基于全约束最小二乘法FCLS对回归问题进行求解,计算得到精确丰度值。
本发明选取信号重构误差(Signal-to-Reconstruction Error,SRE)作为算法的评估指标:
其中,为期望算子,||·||F表示F-范数,X和/>分别为参考丰度矩阵与解混算法获得的丰度估计。信号重构误差相比于均方差而言能够提供关于误差功率与信号功率的信息,更大的SRE值代表更好的丰度解混效果。
丰度估计误差采用均方误差(RootMean Squared Error,RMSE)作为丰度反演与图像重构的评估指标。误差公式如下:
表1不同算法解混的SRE和RMSE对比
通过与其他算法对比,本发明所提出的基于超像素的多目标稀疏解混算法端元提取与丰度反演的表现更好,性能更优。
医学高光谱可与各种内窥镜结合,使系统获得更强的原位活体研究能力,从而实现临床诊断的实用化。生物组织由于自身结构不均一,对光的透射有差异,其中的蛋白质、黑色素、水对不同波长的光吸收不同。因此在不同组织之间、相同组织的不同形态以及不同分级之间,特征反射光谱均由各自的生化特性决定,这就为诊断病变组织与正常组织提供了理论基础。
执行步骤四:引入一种改进的基于结构相似性指数(MSSIM)的特征匹配方法,将解混后得到的重构图像与检测模板进行比对,通过MSSIM输出的系数值实现病变检测。
MSSIM用于判断两个给定图像之间的相似性。MSSIM主要通过亮度对比、对比度对比和结构对比这三个测量指数来计算两幅图片之间的相似性:
其中,imgl(x,y)代表图像亮度相似性,imgc(x,y)代表图像对比度相似性,imgs(x,y)代表图像结构相似性,其中ux和uy分别表示图像X和Y的均值,和/>分别表示图像X和Y的方差,σxy表示图像X和Y的协方差,c1=(k1L)2,c2=(k2L)2为两个常数,L为图像灰度级数,为了符合医学图像的像素特征,避免分母为0,取k1=0.02,k2=0.03,c3=c2/2,而MSSIM定义为:
MSSIM(x,y)=[imgl(x,y)α·imgc(x,y)β·imgs(x,y)γ]
取指数α,β,γ均为1,则:
MSSIM函数的值域为[0,1],MSSIM的值越大说明图像之间的失真越少,两幅图像的相似度越高。基于上述特性,将重构后的图像与数据库中的检测模板进行比对,即计算重构图像的MSSIM值与设定的检测阈值相比较。根据分化程度得不同来选取不同的检测阈值,鉴于病毒潜伏早期组织与正常组织的相似性较大,视觉上难以辨别,为了使MSSIM能代替人类视觉系统对两幅图相似性的进行精确判断,在设定检测阈值时应尽量接近于1,将MSSIM的值超过阈值/>的图像标记为病变图像:
准确率(Accuracy)是高光谱图像分类性能的度量。灵敏度(Sensitivity)与正确诊断疾病的能力有关,它是指在所有正类中预测为正类的概率,通过真阳性(TP)除以真阳性和假阴性(FN)之和得到的。通常灵敏度越高,漏诊概率越低。特异性(Specificity)与正确排除疾病的能力有关,它是指在所有负类中预测为负类的概率,它是通过真阴性(TN)除以真阴性和假阳性(FP)之和得到的。通常特异性越高,确诊率就越高。它们的计算公式如下:
表2不同分化病变组织检测结果
由表2结果可以看出,其中WII,WIII和WIV的结果较好,准确率、特异性和灵敏度均优于WI样本集。这个规律也比较符合医学病理常识,因为相对而言WI级高分化的分化程度较高,与正常组织非常相似,医生诊断时主要依靠形态学信息,说明在特征分布规律上,病变的光谱特征与形态学特征有一定相似性。而随着等级提高,病变组织与正常组织的差异更为明显,评估指标也得到了相应提高。
Claims (10)
1.一种基于病理切片高光谱图像的超像素稀疏解混检测方法,其特征在于所述方法包括如下步骤:
步骤一:利用基于差分方程的超像素分割算法对高光谱图像进行聚类;
步骤二:从检测端元库A中选择端元矩阵M,采用基于精英解选择的改进的多目标并行优化稀疏解混算法对分割后的图像进行解混,得到多个候选端元解集;
步骤三:引入效用函数法用于多目标优化问题Pareto前沿拐点的判定,获取最优解,再利用全约束最小二乘法计算出相应的丰度矩阵S;
步骤四:结合超像素分割子块及其丰度值较大的几个端元收集各类组织特征的模板,并对待检测切片进行逐分割子块的匹配检测。
2.根据权利要求1所述的基于病理切片高光谱图像的超像素稀疏解混检测方法,其特征在于所述步骤一的具体步骤如下:
步骤一一、在对高光谱图像进行分割之前,先用PCA降维方法对数据进行降维处理;
步骤一二、为了避免初始超像素聚类中心落在边缘特征像素上,使用差分方程找到邻域像素值的最小梯度像素点作为新的聚类中心;
步骤一三、针对高光谱图像,利用改进后的超像素分割算法对图像进行分割。
3.根据权利要求2所述的基于病理切片高光谱图像的超像素稀疏解混检测方法,其特征在于所述步骤一三的具体步骤如下:
步骤一三一、对于给定图像像素点N,将图像分割为Ks个尺寸相同的子块,
则每个超像素的大小为N/Ks,相邻聚类中心的步长为Sp=(N/Ks)1/2;
步骤一三二、为了避免聚类中心落在噪声点或者像素边缘,在每个中心点的3×3邻域内利用差分方程遍历8邻域内的像素点,求得最小梯度值G(x,y):
G(x,y)=dx(i,j)+dy(i,j);
dx(i,j)=I(i+1,j)-I(i,j);
dy(i,j)=I(i,j+1)-I(i,j);
其中,dx,dy分别为在x和y方向上相邻像素I的梯度差;
步骤一三三、有了最小梯度,将其作为初始像素聚类中心点之后,在2Sp×2Sp邻域内通过欧式距离对像素点进行聚类:
其中,dc为定义在高光谱影像对应光谱空间的欧式距离,分别代表质心k与其所在搜索空间中第i个点光谱特征向量,/>表示实数空间,/>表示L维光谱特征向量组成的实空间;dxy表示空间距离,(xi,yi)和(xk,yk)表示第i个点和质心k的坐标;Ds是归一化距离,参数ms指定超像素的紧凑性;聚类中心点的残差E定义为先前中心C(i-1)与重新计算的中心之间C(i)的L1范数距离;/>
其余每个像素点都会与所有的聚类中心有一个距离,取其中距离的最小值所对应的中心像素作为该像素点的聚类中心,在lab彩色图像平面空间计算从属于聚类中心的平均向量作为新的聚类中心;找到新的聚类中心之后,比较该中心的残差E和阈值ε,若不满足条件E≤ε,则重新在每个中心的2Sp×2Sp内计算新的聚类中心,一直迭代,直到残差E小于设定阈值ε后,将聚类中心周围的孤立点进行强制合并,最终得到Ks个超像素块。
5.根据权利要求1所述的基于病理切片高光谱图像的超像素稀疏解混检测方法,其特征在于所述步骤二的具体步骤如下:
步骤二二、指定个体稀疏度、对应平均光谱的重构误差、以及丰度和与1误差三者构成优化问题的目标对象,用深度非支配排序遗传算法对所有超像素子块中的平均光谱以训练最大迭代数T1求解下式优化问题,得到个体I的集合,此处称为基种群
f1为个体稀疏度,f2为对应平均光谱的重构误差,f3为丰度和与1误差,三者组成的向量即是优化问题中的优化对象,优化问题的解即为找到满足约束条件的使得该向量最小的个体I的集合。其中,Ii∈{0,1},对于ai∈M用Ii=1表示遗传算法中的个体染色体集合,意为当库A中的检测端元aj在端元矩阵M里时Ij为1,否则为0;为子块Yi的平均光谱,即该超像素块内所有相似光谱的算术平均值;MI表示包含个体染色体集合I的端元矩阵;/>为平均光谱对应的全约束丰度矩阵;算子||·||2表示2-范数,‖·‖2,1=∑||·||2;λ为平衡因子,W为对角矩阵,其每行的行分量wi与/>中每行的行分量/>成反比;
步骤二四、以浅层非支配遗传算法以最大迭代数T2求解下式优化问题,得到子种群EPj:
其中,si为yi对应的全约束丰度矩阵。
7.根据权利要求1所述的基于病理切片高光谱图像的超像素稀疏解混检测方法,其特征在于所述步骤三的具体步骤如下:
步骤三一、整合所有子种群EPj,构建超像素子块Yi的最优解集Gi;
步骤三二、将所有超像素子块的最优解集通过求取下式最优解问题进行合并,得到合并后的解集{Gi|1≤i≤Ks}:
其中,g1(I)=||I||0,表示个体的稀疏度,||I||0表示I中非零元素的个数;为全局的图像重构误差,g3(I)=max|Yc-M*Sc|为在超像素水平上评估图像的局部重构误差,即在图像水平与超像素水平同时评估端元矩阵M,Y为图像数据,Yc为重构的图像数据,Sc为全约束丰度矩阵;
Ω<(u,v)={i∈Ω∣ui<vi}
Ω>(u,v)={i∈Ω∣ui>vi}
步骤三四、令S为一固定集合;对于S中的点u∈S,定义效用函数μ(u,S)为:
步骤三五、求出拐点μ*为infμ(u,S)的解,即通过效用函数指定了Pareto前沿上的一个明确的拐点解;
步骤三六、利用全约束最小二乘法计算出相应的丰度矩阵S。
8.根据权利要求7所述的基于病理切片高光谱图像的超像素稀疏解混检测方法,其特征在于所述步骤三二中,在求解最优合并解集时,变异率设置为0,以避免对空间的进一步探索,最大迭代数为T3;为了降低算法计算复杂度,在求解多目标最优解时T1>>T2>T3;在实现过程中为使算法快速收敛,在对候选集进行合并时,依据超像素平均光谱的光谱角大小依次进行合并计算。
9.根据权利要求1所述的基于病理切片高光谱图像的超像素稀疏解混检测方法,其特征在于所述步骤四的具体步骤如下:
步骤四一、根据得到的超像素分割子块,依照该子块所包含的端元可以归纳出这些端元所含有的已知组织的图像,形成一个按照端元来区别的模板子块图像;
步骤四二、对于一个待检测的病理切片,按照步骤二得到各个超像素子块,依据其主要的端元来找出已知组织切片的模板子块图像;
步骤四三、引入改进的基于结构相似性指数MSSIM的特征匹配方法,利用解混后得到的丰度矩阵及端元进行图像重构;
步骤四四、将重构后的图像与含有已知特征的检测模板进行比对,通过MSSIM输出的系数值实现该切片组织的匹配检测问题;
步骤四五、对所有超像素分割后的子块多次执行步骤四三和步骤四四,最终形成整个待检测切片的检测结果。
10.根据权利要求9所述的基于病理切片高光谱图像的超像素稀疏解混检测方法,其特征在于所述MSSIM通过亮度对比、对比度对比和结构对比这三个测量指数来计算两幅图片之间的相似性:
其中,imgl(x,y)代表图像亮度相似性,imgc(x,y)代表图像对比度相似性,imgs(x,y)代表图像结构相似性,其中ux和uy分别表示图像X和Y的均值,和/>分别表示图像X和Y的方差,σxy表示图像X和Y的协方差,c1=(k1L)2,c2=(k2L)2为两个常数,L为图像灰度级数;
MSSIM定义为:
MSSIM(x,y)=[imgl(x,y)α·imgc(x,y)β·imgs(x,y)γ]
取指数α,β,γ均为1,则:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310151695.2A CN116188423B (zh) | 2023-02-22 | 2023-02-22 | 基于病理切片高光谱图像的超像素稀疏解混检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310151695.2A CN116188423B (zh) | 2023-02-22 | 2023-02-22 | 基于病理切片高光谱图像的超像素稀疏解混检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116188423A true CN116188423A (zh) | 2023-05-30 |
CN116188423B CN116188423B (zh) | 2023-08-08 |
Family
ID=86448325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310151695.2A Active CN116188423B (zh) | 2023-02-22 | 2023-02-22 | 基于病理切片高光谱图像的超像素稀疏解混检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116188423B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117037149A (zh) * | 2023-08-15 | 2023-11-10 | 华东师范大学 | 基于半监督群优化的多重免疫组化高光谱影像解混方法 |
CN117058014A (zh) * | 2023-07-14 | 2023-11-14 | 北京透彻未来科技有限公司 | 一种基于lab色彩空间匹配的染色归一化系统及方法 |
CN117710380A (zh) * | 2024-02-06 | 2024-03-15 | 中九建工集团有限公司 | 一种混凝土透气性智能检测方法及系统 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6665438B1 (en) * | 1999-05-05 | 2003-12-16 | American Gnc Corporation | Method for hyperspectral imagery exploitation and pixel spectral unmixing |
US20140037209A1 (en) * | 2012-08-03 | 2014-02-06 | Raytheon Company | System and method for reduced incremental spectral clustering |
WO2015124772A1 (en) * | 2014-02-21 | 2015-08-27 | Ventana Medical Systems, Inc. | Group sparsity model for image unmixing |
CN105513097A (zh) * | 2015-12-30 | 2016-04-20 | 哈尔滨工业大学 | 一种基于最小体积与优化约束条件的高光谱解混方法 |
CN108388863A (zh) * | 2018-02-27 | 2018-08-10 | 南昌工程学院 | 一种高光谱遥感图像混合像元分解方法 |
WO2019110561A1 (en) * | 2017-12-06 | 2019-06-13 | Ventana Medical Systems, Inc. | Method of storing and retrieving digital pathology analysis results |
CN110992273A (zh) * | 2019-11-04 | 2020-04-10 | 中国科学院西安光学精密机械研究所 | 一种自相似性约束的高光谱影像解混方法 |
CN111008975A (zh) * | 2019-12-02 | 2020-04-14 | 北京航空航天大学 | 一种空间人造目标线性模型的混合像元解混方法及系统 |
CN113446998A (zh) * | 2021-06-29 | 2021-09-28 | 哈尔滨工业大学 | 一种基于高光谱目标探测数据的动态解混方法 |
CN113516019A (zh) * | 2021-04-23 | 2021-10-19 | 深圳大学 | 高光谱图像解混方法、装置及电子设备 |
US20210383091A1 (en) * | 2017-12-06 | 2021-12-09 | Ventana Medical Systems, Inc. | Method of storing and retrieving digital pathology analysis results |
WO2023000160A1 (zh) * | 2021-07-20 | 2023-01-26 | 海南长光卫星信息技术有限公司 | 高光谱遥感影像半监督分类方法、装置、设备及存储介质 |
-
2023
- 2023-02-22 CN CN202310151695.2A patent/CN116188423B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6665438B1 (en) * | 1999-05-05 | 2003-12-16 | American Gnc Corporation | Method for hyperspectral imagery exploitation and pixel spectral unmixing |
US20140037209A1 (en) * | 2012-08-03 | 2014-02-06 | Raytheon Company | System and method for reduced incremental spectral clustering |
WO2015124772A1 (en) * | 2014-02-21 | 2015-08-27 | Ventana Medical Systems, Inc. | Group sparsity model for image unmixing |
CN105513097A (zh) * | 2015-12-30 | 2016-04-20 | 哈尔滨工业大学 | 一种基于最小体积与优化约束条件的高光谱解混方法 |
WO2019110561A1 (en) * | 2017-12-06 | 2019-06-13 | Ventana Medical Systems, Inc. | Method of storing and retrieving digital pathology analysis results |
US20210383091A1 (en) * | 2017-12-06 | 2021-12-09 | Ventana Medical Systems, Inc. | Method of storing and retrieving digital pathology analysis results |
CN108388863A (zh) * | 2018-02-27 | 2018-08-10 | 南昌工程学院 | 一种高光谱遥感图像混合像元分解方法 |
CN110992273A (zh) * | 2019-11-04 | 2020-04-10 | 中国科学院西安光学精密机械研究所 | 一种自相似性约束的高光谱影像解混方法 |
CN111008975A (zh) * | 2019-12-02 | 2020-04-14 | 北京航空航天大学 | 一种空间人造目标线性模型的混合像元解混方法及系统 |
CN113516019A (zh) * | 2021-04-23 | 2021-10-19 | 深圳大学 | 高光谱图像解混方法、装置及电子设备 |
CN113446998A (zh) * | 2021-06-29 | 2021-09-28 | 哈尔滨工业大学 | 一种基于高光谱目标探测数据的动态解混方法 |
WO2023000160A1 (zh) * | 2021-07-20 | 2023-01-26 | 海南长光卫星信息技术有限公司 | 高光谱遥感影像半监督分类方法、装置、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
周泽宇: "高光谱图像稀疏解混与分类算法研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, no. 9 * |
张淼 等: "基于小波阈值降噪和经验模态分解的高光谱图像分类算法", 《基于小波阈值降噪和经验模态分解的高光谱图像分类算法》, vol. 33, no. 4, pages 471 - 477 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117058014A (zh) * | 2023-07-14 | 2023-11-14 | 北京透彻未来科技有限公司 | 一种基于lab色彩空间匹配的染色归一化系统及方法 |
CN117058014B (zh) * | 2023-07-14 | 2024-03-29 | 北京透彻未来科技有限公司 | 一种基于lab色彩空间匹配的染色归一化系统及方法 |
CN117037149A (zh) * | 2023-08-15 | 2023-11-10 | 华东师范大学 | 基于半监督群优化的多重免疫组化高光谱影像解混方法 |
CN117037149B (zh) * | 2023-08-15 | 2024-03-22 | 华东师范大学 | 基于半监督群优化的多重免疫组化高光谱影像解混方法 |
CN117710380A (zh) * | 2024-02-06 | 2024-03-15 | 中九建工集团有限公司 | 一种混凝土透气性智能检测方法及系统 |
CN117710380B (zh) * | 2024-02-06 | 2024-04-12 | 中九建工集团有限公司 | 一种混凝土透气性智能检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116188423B (zh) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116188423B (zh) | 基于病理切片高光谱图像的超像素稀疏解混检测方法 | |
George et al. | Remote computer-aided breast cancer detection and diagnosis system based on cytological images | |
CN104376147B (zh) | 基于图像的风险分数的图像分析系统 | |
Loukas et al. | Breast cancer characterization based on image classification of tissue sections visualized under low magnification | |
Dov et al. | Thyroid cancer malignancy prediction from whole slide cytopathology images | |
Xu et al. | Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients | |
Song et al. | Hybrid deep autoencoder with Curvature Gaussian for detection of various types of cells in bone marrow trephine biopsy images | |
JP2022547722A (ja) | 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習 | |
Markkandeyan et al. | Deep learning based semantic segmentation approach for automatic detection of brain tumor | |
Razavi et al. | Minugan: Dual segmentation of mitoses and nuclei using conditional gans on multi-center breast h&e images | |
Singh et al. | A robust her2 neural network classification algorithm using biomarker-specific feature descriptors | |
Shibly | Image processing for automatic cell nucleus segmentation using super pixel and clustering methods on histopathological images | |
Guo et al. | Pathological Detection of Micro and Fuzzy Gastric Cancer Cells Based on Deep Learning. | |
Fooladi et al. | Segmenting the lesion area of brain tumor using convolutional neural networks and fuzzy k-means clustering | |
Ravi et al. | Machine Learning-based Classification and Analysis of Breast Cancer Pathological Images | |
Kishore et al. | Using Haralick Features for the distance Measure classification of digital Mammograms | |
KR102369717B1 (ko) | 조직학 섹션에서 전립선암 종의 다중 특성 분류 방법 | |
WO2014053520A1 (en) | Targeting cell nuclei for the automation of raman spectroscopy in cytology | |
Irshad | Automated mitosis detection in color and multi-spectral high-content images in histopathology: application to breast cancer grading in digital pathology | |
Ahmed et al. | Hierarchical classification of liver tumor from CT images based on difference-of-features (DOF) | |
Syed | Color and morphological features extraction and nuclei classification in tissue samples of colorectal cancer | |
Jyash et al. | EFFICIENT MACHINE LEARNING ALGORITHM FOR CANCER DETECTION USING BIOMEDICAL IMAGE | |
Anitha et al. | Segmentation and Classification of Gastric Cancer from Endoscopic Image Dataset with the Aid of Artificial Intelligence | |
Dong et al. | From Pixel to Slide image: Polarization Modality-based Pathological Diagnosis Using Representation Learning | |
Sertel | Image analysis for computer-aided histopathology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |