CN116091832A - 基于自编码器网络的肿瘤细胞切片高光谱图像分类方法 - Google Patents

基于自编码器网络的肿瘤细胞切片高光谱图像分类方法 Download PDF

Info

Publication number
CN116091832A
CN116091832A CN202310124577.2A CN202310124577A CN116091832A CN 116091832 A CN116091832 A CN 116091832A CN 202310124577 A CN202310124577 A CN 202310124577A CN 116091832 A CN116091832 A CN 116091832A
Authority
CN
China
Prior art keywords
hyperspectral
pixels
tumor cell
self
encoder network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310124577.2A
Other languages
English (en)
Other versions
CN116091832B (zh
Inventor
张淼
赵虹博
邹春柳
梁瑞东
王艳
沈毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202310124577.2A priority Critical patent/CN116091832B/zh
Publication of CN116091832A publication Critical patent/CN116091832A/zh
Application granted granted Critical
Publication of CN116091832B publication Critical patent/CN116091832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,所述方法包括如下步骤:步骤一:通过显微镜和高光谱成像仪得到肿瘤细胞切片的高光谱图像;步骤二:基于高光谱图像数据,分别进行基于线性回归的最小二乘拟合估计和基于非线性回归的高斯拟合估计,通过滑动窗口设置和三次样条插值法,将混合像元按线性和非线性混合程度进行区域划分;步骤三:基于变精度粗糙集方法处理高光谱图像解混数据,构建稀疏自编码器网络进行解混;步骤四:基于优化的卷积神经网络,对解混得到的端元及丰度结果进行分类,实现肿瘤细胞切片高光谱图像分类。本发明可以降低图像在空间分辨率上的精度要求,提高切片扫描效率,进一步缩短分析诊断时间。

Description

基于自编码器网络的肿瘤细胞切片高光谱图像分类方法
技术领域
本发明属于肿瘤细胞切片高光谱图像领域,涉及一种病变组织的病理切片高光谱图像分类方法,具体涉及一种基于高光谱成像、非线性区域探测、稀疏自编码器网络和卷积神经网络的高光谱病理图像分类方法。
背景技术
癌症是全球发病率高且较难治愈的恶性肿瘤疾病。目前,检测癌症的主要方法仍是对病变组织切片进行显微镜扫查,并作出病理诊断。传统的病理诊断方法需要专家观察切片的组织结构、细胞形态和染色情况等,并结合临床情况和其他检查结果做出诊断。这一过程往往需要一定时间才能得到准确结果,并且易受诊断专家主观经验等因素的影响。现在随着人工智能技术的发展,机器学习等方法被广泛用于医学领域研究。在肿瘤病理智能诊断领域,一般的人工智能方法是拍摄肿瘤组织病理切片在显微镜下的二维光学图像,训练分类模型,实现肿瘤细胞图像的分类。
而随着医学成像技术的发展,高光谱成像技术融合了光谱分析和光学成像两种诊断技术。相比于二维病理图像,高光谱病理图像可以得到具有图像信息和光谱信息的三维高光谱图像数据,其中的光谱维信息能够反映切片细胞组织的特征。对此高光谱病理图像数据进行解混可以得到不同细胞组织端元的丰度分布,基于这些丰度分布训练卷积神经网络模型,可以实现肿瘤细胞切片的分类诊断。同时,高光谱图像的空间分辨率一般低于二维彩色图片(这主要是由于高光谱成像仪前置的滤光环节大大降低了通光量,因此成像传感器不宜采取较大的分辨率),但可以实现较高的光谱分辨率,有利于获得细胞组织的光谱特征。并且较低的空间分辨率可以获得更大的图像视野,缩短病理切片扫描的时间,进一步提高病理诊断的效率。
自编码器网络是一种典型的网络结构,其中的编码器能够对输入数据进行降维处理,以提取输入数据的内在特征,而解码器能够通过所提取的特征还原出原始数据,使还原出的数据和输入的原始数据尽可能相同。高光谱数据的内在特征就是每个像元中的端元组成及其所占的比例,即丰度。而高光谱解混的本质就是将端元和丰度不断组合,以得到最接近实际混合光谱的组合结果。因此,通过自编码器网络可以实现高光谱数据的解混和重构。
高光谱解混算法根据混合方式的不同可以分为线性模型和非线性模型。线性解混模型的物理意义明确,有计算复杂但精度低的特点。非线性解混模型需要考虑不同物质间的反射,模型较复杂,有计算复杂但精度高的特点。
粗糙集理论作为一种处理不精确、不确定、不完备知识的表示、分类、学习方法,已逐渐成为人工智能理论基础方向研究的重要分支,在机器学习、模式识别、医疗诊断等诸多领域有着丰富应用。粗糙集理论的核心思想是利用分类方法,将等价关系确定的等价类当作已知的知识集合,进而利用这些知识来表示任意的对象集。通过一对集值函数:上下接近算子,考虑已知知识包含于对象集还是至少与对象集相交不空,得到对象集在该已知知识框架下的近似范围。然而这种包含关系在现实应用中往往过于苛刻,基于此,Ziarko提出了基于一定包含程度的变精度粗糙集模型。变精度粗糙集模型的核心思想是在经典粗糙集中给出一个阈值,即允许在一定阈值范围内的错误分类率存在,因而变精度粗糙集是经典粗糙集的推广。
目前基于神经网络的图像分类算法应用广泛,特别是在医学图像分类方法研究中,卷积神经网络实现了较高的分类准确率。相比于其他卷积神经网络,GoogLeNet网络在模型的深度(层数)和宽度(层核或者神经元数)上进行了创新。在深度上,GoogLeNet的网络层数达到了22层。在宽度上,网络增加了多种卷积核为1*1、3*3、5*5的卷积层和最大池化层,同时采用集成化的模块设计,在增加的卷积层前和最大池化层后分别加上了1*1的卷积核进行降维处理,以达到减少数据量,增加计算效率的目的。
发明内容
为了克服传统肿瘤细胞切片病理诊断过程繁琐费时和诊断结果易受人为经验影响的问题,本发明提供了一种基于自编码器网络的肿瘤细胞切片高光谱图像分类方法。该方法通过基于最小二乘拟合估计和高斯拟合估计的非线性探测将高光谱图像数据中各像元按线性和非线性混合程度进行划分,再基于变精度的粗糙集方法进行处理,然后将高光谱数据输入稀疏自编码器网络进行无监督的线性或非线性解混,这样既提高了解混精度,又降低了整体的计算量,保证了解混效率,并且使用高光谱图像解混结果作为神经网络训练数据,可以降低切片图像空间分辨率要求,提高切片扫描效率,又可以提高光谱分辨率,有利于细胞特征提取。
本发明的目的是通过以下技术方案实现的:
一种基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,包括如下步骤:
步骤一:通过显微镜和高光谱成像仪得到肿瘤细胞切片的高光谱图像;
步骤二:基于高光谱图像数据,分别进行基于线性回归的最小二乘拟合估计和基于非线性回归的高斯拟合估计,通过滑动窗口设置和三次样条插值法,将混合像元按线性和非线性混合程度进行区域划分;
步骤三:基于变精度粗糙集方法处理高光谱图像解混数据,构建稀疏自编码器网络进行解混;
步骤四:基于优化的卷积神经网络,对解混得到的端元及丰度结果进行分类,实现肿瘤细胞切片高光谱图像分类。
相比于现有技术,本发明具有如下优点:
1)本发明采用高光谱成像仪拍摄肿瘤细胞切片图像,可以得到细胞切片在不同光谱波段下的图像信息,实现较高的光谱分辨率,从而可以降低图像在空间分辨率上的精度要求,提高切片扫描效率,进一步缩短分析诊断时间。
2)本发明采用基于高斯拟合估计和最小二乘拟合估计的非线性混合区域探测算法对高光谱数据进行拟合误差估计,同时设置滑动窗口,对混合像元按区域进行线性和非线性混合程度划分,既实现了高光谱数据的混合区域探测,又防止了探测算法过拟合的现象。
3)本发明基于非线性混合区域探测算法,对高光谱图像数据进行了预处理,结合了线性和非线性解混模型的优点,既可以提高解混精度,又可以提高解混效率。同时,自编码器网络在满足丰度约束时不需额外加入惩罚项,减少了损失函数的复杂性,提高了网络的收敛速度。
4)本发明在对非线性混合区域探测算法划分好区域的高光谱数据进行解混前,使用基于变精度的粗糙集方法对不确定混合区域的像元先进行近似处理,从而构建稀疏自编码器网络进行解混。
5)本发明将高光谱图像用于肿瘤细胞病理诊断,相比于传统的二维光学图像,高光谱数据带有生物组织光谱维信息,利用解混得到的端元及丰度结果训练卷积神经网络,分类精度较高。
附图说明
图1为基于自编码器网络的肿瘤细胞切片高光谱图像分类方法的实施流程图。
图2为自编码器网络的结构图。
图3为卷积神经网络GoogLeNet的结构图。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明,但并不局限于此,凡是对本发明技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,均应涵盖在本发明的保护范围中。
本发明提供了一种一种基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,所述方法通过显微镜和高光谱相机得到肿瘤细胞切片的高光谱图像。基于高光谱图像数据,分别进行基于线性回归的最小二乘拟合估计和基于非线性回归的高斯拟合估计,由拟合误差计算统计量,通过滑动窗口处理将像元按线性和非线性混合程度进行划分。进一步基于变精度粗糙集方法处理划分好的高光谱数据,再输入到自编码器网络中,根据划分结果选择线性或非线性重构方式,将重构误差作为损失函数,从而得到编码器的输出即估计丰度,其与下一层的连接权重即为端元矩阵。以得到的端元及丰度结果作为训练集,训练优化的卷积神经网络模型,可实现肿瘤细胞切片的分类。
本发明实现的流程图如图1所示,共分为四个步骤,具体步骤如下:
步骤一:通过显微镜和高光谱成像仪得到肿瘤细胞切片的高光谱图像。
本发明中,高光谱成像系统由高光谱成像仪和显微镜组成,通过接口将高光谱成像仪与显微镜连接。将肿瘤细胞病理切片放至显微镜载物台,调整显微镜物镜放大倍率,使能够观察到清晰切片图像。由高光谱成像仪拍摄图片,光谱波段在350nm至1000nm范围内进行选择,选定N个波段。图像尺寸为sizeX×sizeY(sizeX、sizeY一般为偶数)。通过此高光谱成像仪可得到肿瘤细胞切片的高光谱图像。
步骤二:基于高光谱图像数据,分别进行基于线性回归的最小二乘拟合估计和基于非线性回归的高斯拟合估计,再通过设置滑动窗口和三次样条插值法,将混合像元X按线性和非线性混合程度进行区域划分。具体步骤如下:
步骤二一:对高光谱图像的所有混合像元X分别进行基于线性回归的最小二乘拟合估计和基于非线性回归的高斯拟合估计,其中:
混合像元X的混合模型数学表示可写为:
X=f(a)+ξ
其中,ξ=N(0,σn 2),是零均值,方差函数为k(·,·)的高斯先验分布,a=(a1,...,aM)T是代表丰度的一个列向量。
假设非线性区域探测符合下面的假设检验问题:
Figure BDA0004081518480000062
其中,E是端元矩阵。当接受假设H0,则标记像元是线性混合区域。当接受假设H1,则标记像元是不确定混合区域。当接受假设H2,则标记像元是非线性混合区域。
最小二乘拟合估计误差定义为:
Figure BDA0004081518480000063
其中,
Figure BDA0004081518480000064
是对混合像元的数学表示f(·)的最小二乘拟合估计量,
Figure BDA0004081518480000065
高斯拟合估计将训练集{E,X}分为输入的端元矩阵E和输出的混合像元X,对X的高斯先验分布为:
X~N(0,K+σ2I)
其中矩阵K的元素由输入ei,ej的核函数Kij=k(ei,ej)组成,I是d×d的单位矩阵。高斯拟合估计的目的是对新的端元输入拟合估计出其混合像元模型的数学表示f(A),但本发明只需要估计现有的高光谱数据和模型间的拟合误差,不必使用新的数据输入。因此,高斯拟合估计的误差定义为:
Figure BDA0004081518480000071
其中,
Figure BDA0004081518480000072
是f(A)的均值。
步骤二二:设置2*2的滑动窗口,用两个拟合误差向量的范数的平方计算窗口范围内每个像元的统计量T,然后利用三次样条插值法,计算滑动窗口区域对应的统计量,其中:
统计量T定义为:
Figure BDA0004081518480000073
利用三次样条插值法,计算滑动窗口区域对应的统计量的具体步骤如下:
(1)滑动窗口每次对四个像元统计量进行三次样条插值。
(2)将四个像元的统计量T按顺序排列,设每个像元对应的坐标点为(tp,Tp),p=0,1,2,3,其中tp为像元对应的顺序,Tp为像元的统计量T,可得到由三条区间段插值曲线连成的插值曲线。每个区间段插值曲线公式为:
Sp(t)=wp+bp(t-tp)+cp(t-tp)2+dp(t-tp)3
其中wp,bp,cp,dp是曲线参数;t是滑动窗口内的像素插值后所对应的新像素排列序号;Sp(t)是插值后的像素所对应数值。
(3)得到插值曲线后,选择曲线对应T轴的数值范围的中值作为此窗口区域的统计量R。
步骤二三、根据统计量R,将混合像元X按线性和非线性混合程度进行区域划分。具体步骤如下:
设α和β是探测器的阈值,且α<β。对于滑动窗口内的像元,当R>β时接受假设H0,标记像元是线性混合区域。当R<α时接受假设H2,标记像元是非线性混合区域。否则接受假设H1,标记像元是不确定混合区域。依次移动滑动窗口,将高光谱图像的所有混合像元X进行区域划分。
步骤三:基于变精度粗糙集方法处理高光谱图像解混数据,构建稀疏自编码器网络进行解混。具体步骤如下:
步骤三一、在对划分好区域的高光谱数据进行解混前,使用基于变精度的粗糙集方法对不确定混合区域(即:接受假设H1的区域)的像元进行近似处理,将所有不确定混合区域的像元划分为线性或非线性混合区域像元。
变精度的粗糙集方法如下:
Figure BDA0004081518480000081
其中,Z0代表区域中有三个像元标记为H2,有一个像元标记为H0,选择T值最大的像元标记为H0;Z1代表区域中有两个像元标记为H2,有两个像元标记为H0,选择T值最大的两个像元标记为H0;Z2代表区域中有一个像元标记为H2,有三个像元标记为H0,选择T值最小的像元标记为H2;经过近似处理,能够降低背景光线等外部干扰对解混的影响,以提高解混模型的抗干扰能力和解混精度。
步骤三二、构建稀疏自编码器网络,采用具有非负属性的ReLu函数作为网络层之间的激活函数,可以满足丰度的非负约束,而不需要增加惩罚项。同时,为了克服端元矩阵中较多的冗余行带来的影响,提高解混效果,选择了l21范数作为稀疏约束,其表达式为:
Figure BDA0004081518480000091
其中,下角标中“:”代表该位置变量取值从其定义域的最小值到最大值的整个遍历,Q代表n行q列的矩阵,Qi,j表示Q矩阵的第i行j列的元素,矩阵Q的l21范数||·||21即为矩阵每一行作为行向量的向量l21范数||·||21之和,上式求和中的根式即为向量l2范数||·||2表达式。在l21范数尽可能小的条件下,每一行的l2范数都需要尽可能小,即出现尽可能多的0。因此上式可以使编码器权重矩阵M的每行元素中的0值尽可能多,从而实现行稀疏。所构建稀疏自编码器网络的目标函数如下:
Figure BDA0004081518480000092
其中,
Figure BDA0004081518480000093
为端元估计矩阵,
Figure BDA0004081518480000094
为丰度估计矩阵,F范数的作用是使重构误差达到最小,
Figure BDA0004081518480000095
是端元约束项,μ是控制其约束程度的参数,λ是控制范数||E||21的参数。当像元标记为线性时,使用线性混合模型表示,当像元标记为非线性时,使用非线性混合模型表示。
为了优化目标函数,采用梯度下降法进行
Figure BDA0004081518480000096
Figure BDA0004081518480000097
的迭代求解。其中端元约束项的具体表达式为:
Figure BDA0004081518480000098
可以看出,此约束项服从已知的高斯分布,可看作网络权重的先验信息。
步骤三三、构建好稀疏自编码器网络后,将划分好区域的高光谱图像数据作为网络的输入,设置参数,网络迭代,直至收敛。其中,编码器的输出单元值是丰度估计值,与下一层相连的权重为端元估计值。通过稀疏自编码器网络对高光谱数据解混后,可得到Y种组织端元和对应的丰度估计二维图像yh,h=1,…,Y。
步骤四:基于优化的卷积神经网络GoogLeNet,对解混得到的端元及丰度结果进行分类,实现肿瘤细胞切片高光谱图像分类。
恶性肿瘤细胞往往会出现细胞骨架结构紊乱和染色质不团聚、分布混乱等病理形态学特点。对于得到的Y种组织端元和对应的丰度估计图yh,不同端元对应的丰度估计图yh均为二维灰度图像,图像大小为sizeX×sizeY。端元数Y可以看作输入图像数据的通道数。因此,将大小为sizeX×sizeY×Y的解混数据作为输入,使用经典的卷积神经网络GoogLeNet进行分类。由于GoogLeNet神经网络具有较多的网络层数和集成化的模块结构,可以充分提取高光谱数据的特征。同时,考虑到过多的神经网络层数会导致特征丢失和算法效率问题,对模型的网络层数进行调整,使神经网络在达到满意的分类结果的同时,具有较高的计算效率。
实施例:
本实施例中,实验样本采用真实实际宫颈癌患者病理切片,切片已由专家标定出肿瘤组织区域。为降低噪声的影响,只保留350nm至1000nm范围中受噪声影响较小的256个波段的数据作为本次实验的高光谱数据集。
执行步骤一:通过显微镜和高光谱成像仪得到肿瘤细胞切片的高光谱图像。
将肿瘤细胞病理切片放至显微镜载物台,调整显微镜物镜放大倍率,使能够观察到清晰切片图像。由高光谱成像仪拍摄图片,光谱波段选择350nm至1000nm范围内的256个波段,图像尺寸为224*224,共50176个像元。由此得到肿瘤细胞切片的高光谱图像。
执行步骤二:基于高光谱图像数据,分别进行基于线性回归的最小二乘拟合估计和基于非线性回归的高斯拟合估计,再通过设置2*2的滑动窗口和三次样条插值法,将混合像元X按线性和非线性混合程度进行区域划分。
(1)得到高光谱图像数据后,对混合像元X分别进行基于线性回归的最小二乘拟合估计和基于非线性回归的高斯拟合估计。
最小二乘拟合估计误差定义为:
Figure BDA0004081518480000111
其中
Figure BDA0004081518480000112
高斯拟合估计的误差定义为:
Figure BDA0004081518480000113
其中
Figure BDA0004081518480000114
(2)设置2*2的滑动窗口,用两个拟合误差向量的范数的平方计算窗口范围内每个像元的统计量T,然后利用三次样条插值法,计算滑动窗口区域对应的统计量。统计量T定义为:
Figure BDA0004081518480000115
将四个像元的统计量T按顺序排列,设每个像元对应的坐标点为(tp,Tp),p=0,1,2,3,其中tp为像元对应的顺序,Tp为像元的统计量T。可得到由三条区间段插值曲线连成的插值曲线。每个区间段插值曲线公式为:
Sp(t)=wp+bp(t-tp)+cp(t-tp)2+dp(t-tp)3
其中p=0,1,2,3,wp,bp,cp,dp是曲线参数。得到插值曲线后,选择曲线对应T轴的数值范围的中值作为此窗口区域的统计量R。
(3)根据统计量R,将混合像元X按线性和非线性混合程度进行区域划分。
设α和β是探测器的阈值,且α<β。对于滑动窗口内的像元,当R>β时接受假设H0,标记像元是线性混合区域。当R<α时接受假设H2,标记像元是非线性混合区域。否则接受假设H1,标记像元是不确定混合区域。依次移动滑动窗口,将高光谱图像的所有混合像元X进行区域划分。
执行步骤三:基于变精度粗糙集方法处理高光谱图像解混数据,构建稀疏自编码器网络进行解混。
(1)在对划分好区域的高光谱数据进行解混前,使用基于变精度的粗糙集方法对不确定混合区域的像元进行近似处理,具体的变精度粗糙集方法如下:
Figure BDA0004081518480000121
其中,Z0代表区域中有三个像元标记为H2,有一个像元标记为H0,选择T值最大的像元标记为H0。Z1代表区域中有两个像元标记为H2,有两个像元标记为H0,选择T值最大的两个像元标记为H0。Z2代表区域中有一个像元标记为H2,有三个像元标记为H0,选择T值最小的像元标记为H2
(2)构建自编码器网络,图2为本发明实施所采用的自编码器网络的结构图。采用ReLu函数作为网络层之间的激活函数,选择l21范数作为稀疏约束。所构建稀疏自编码器网络的目标函数如下:
Figure BDA0004081518480000122
当像元标记为线性时,使用线性混合模型表示,有:
Figure BDA0004081518480000123
Figure BDA0004081518480000124
当像元标记为非线性时,使用非线性混合模型表示,有:
Figure BDA0004081518480000131
Figure BDA0004081518480000132
其中,
Figure BDA0004081518480000133
表示两种端元之间的反射。
为了优化目标函数,我们采用梯度下降法进行
Figure BDA0004081518480000134
Figure BDA0004081518480000135
的迭代求解。其中端元约束项可看作网络权重的先验信息,在梯度更新权重时产生一个抑制项
Figure BDA0004081518480000136
将其设为:
Figure BDA0004081518480000137
其中,
Figure BDA0004081518480000138
Figure BDA0004081518480000139
的元素。
Figure BDA00040815184800001310
的梯度下降过程公式为:
Figure BDA00040815184800001311
Figure BDA00040815184800001312
其中,
Figure BDA00040815184800001313
为迭代一次后的端元估计值。η代表学习率,可以调节梯度下降的步长。其公式如下:
Figure BDA00040815184800001314
其中,
Figure BDA00040815184800001315
是可设定参数,ε是保证η为正值的可设定参数。稀疏自编码器网络具体结构可见表1,“-”代表“无”。
表1稀疏自编码器网络结构
Figure BDA00040815184800001316
将划分好区域的高光谱图像数据作为网络的输入,设置参数
Figure BDA0004081518480000141
ε=0.001,μ=0.01,学习率0.001,网络迭代,直至收敛。通过自编码器网络对高光谱数据解混后,可得到Y种组织端元和对应的丰度估计二维图像yh,h=1,…,Y。
执行步骤四:基于优化的卷积神经网络GoogLeNet,对解混得到的端元及丰度结果进行分类,实现肿瘤细胞切片高光谱图像分类。
对于得到的Y种组织端元和对应的丰度估计图yh,不同端元对应的丰度估计图yh均为二维灰度图像,图像大小为sizeX×sizeY。端元数Y可以看作输入图像数据的通道数。因此,将大小为sizeX×sizeY×Y的解混数据作为输入,使用经典的卷积神经网络GoogLeNet进行分类,图3为本实施例所采用的神经网络的结构图。考虑到过多的神经网络层数会导致特征丢失和算法效率问题,将模型的网络层数变为8层。将专家标定过的肿瘤细胞切片的高光谱图像解混结果作为训练集,采用有癌症和无癌症两个标签作为分类结果。由此可以通过细胞组织端元及丰度解混结果,进行图像分类,实现肿瘤细胞高光谱切片图像的分类。

Claims (10)

1.一种基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,其特征在于所述方法包括如下步骤:
步骤一:通过显微镜和高光谱成像仪得到肿瘤细胞切片的高光谱图像;
步骤二:基于高光谱图像数据,分别进行基于线性回归的最小二乘拟合估计和基于非线性回归的高斯拟合估计,通过滑动窗口设置和三次样条插值法,将混合像元按线性和非线性混合程度进行区域划分;
步骤三:基于变精度粗糙集方法处理高光谱图像解混数据,构建稀疏自编码器网络进行解混;
步骤四:基于优化的卷积神经网络,对解混得到的端元及丰度结果进行分类,实现肿瘤细胞切片高光谱图像分类。
2.根据权利要求1所述的基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,其特征在于所述步骤一的具体步骤如下:
步骤一一、将肿瘤细胞病理切片放至显微镜载物台,调整显微镜物镜放大倍率,使能够观察到清晰切片图像;
步骤一二、由高光谱成像仪拍摄图片,光谱波段在350nm至1000nm范围内进行选择,选定N个波段,图像尺寸为sizeX×sizeY,得到肿瘤细胞切片的高光谱图像。
3.根据权利要求1所述的基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,其特征在于所述步骤二的具体步骤如下:
步骤二一:对高光谱图像的所有混合像元X分别进行基于线性回归的最小二乘拟合估计和基于非线性回归的高斯拟合估计,其中,混合像元X的混合模型数学表示为:
X=f(a)+ξ
其中,ξ=N(0,σn 2),是零均值,方差函数为k(·,·)的高斯先验分布,a=(a1,...,aM)T是代表丰度的一个列向量;
假设非线性区域探测符合下面的假设检验问题:
Figure FDA0004081518470000021
其中,E是端元矩阵;当接受假设H0,则标记像元是线性混合区域;当接受假设H1,则标记像元是不确定混合区域;当接受假设H2,则标记像元是非线性混合区域;
步骤二二:设置2*2的滑动窗口,用两个拟合误差向量的范数的平方计算窗口范围内每个像元的统计量T,然后利用三次样条插值法,计算滑动窗口区域对应的统计量R;
步骤二三、根据统计量R,将混合像元X按线性和非线性混合程度进行区域划分。
4.根据权利要求3所述的基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,其特征在于所述步骤二二中,统计量T定义为:
Figure FDA0004081518470000022
其中,εl为最小二乘拟合估计误差,εg为高斯拟合估计的误差。
5.根据权利要求4所述的基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,其特征在于所述最小二乘拟合估计误差定义为:
Figure FDA0004081518470000023
其中,
Figure FDA0004081518470000024
是对混合像元的数学表示f(·)的最小二乘拟合估计量,E为端元矩阵,
Figure FDA0004081518470000031
高斯拟合估计误差定义为:
Figure FDA0004081518470000032
其中,
Figure FDA0004081518470000033
是f(A)的均值。
6.根据权利要求3所述的基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,其特征在于所述步骤二二中,利用三次样条插值法,计算滑动窗口区域对应的统计量的具体步骤如下:
(1)滑动窗口每次对四个像元统计量进行三次样条插值;
(2)将四个像元的统计量T按顺序排列,设每个像元对应的坐标点为(tp,Tp),p=0,1,2,3,其中tp为像元对应的顺序,Tp为像元的统计量T,可得到由三条区间段插值曲线连成的插值曲线,每个区间段插值曲线公式为:
Sp(t)=wp+bp(t-tp)+cp(t-tp)2+dp(t-tp)3
其中wp,bp,cp,dp是曲线参数;t是滑动窗口内的像素插值后所对应的新像素排列序号;Sp(t)是插值后的像素所对应数值;
(3)得到插值曲线后,选择曲线对应T轴的数值范围的中值作为此窗口区域的统计量R。
7.根据权利要求3所述的基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,其特征在于所述步骤二三的具体步骤如下:
设α和β是探测器的阈值,且α<β,对于滑动窗口内的像元,当R>β时接受假设H0,标记像元是线性混合区域;当R<α时接受假设H2,标记像元是非线性混合区域;否则接受假设H1,标记像元是不确定混合区域;依次移动滑动窗口,将高光谱图像的所有混合像元X进行区域划分。
8.根据权利要求1所述的基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,其特征在于所述步骤三的具体步骤如下:
步骤三一、在对划分好区域的高光谱数据进行解混前,使用基于变精度的粗糙集方法对不确定混合区域的像元进行近似处理,将所有不确定混合区域的像元划分为线性或非线性混合区域像元;
步骤三二、构建稀疏自编码器网络,采用具有非负属性的ReLu函数作为网络层之间的激活函数,选择l21范数作为稀疏约束,所构建稀疏自编码器网络的目标函数如下:
Figure FDA0004081518470000041
其中,
Figure FDA0004081518470000042
为端元估计矩阵,
Figure FDA0004081518470000043
为丰度估计矩阵,F范数的作用是使重构误差达到最小,
Figure FDA0004081518470000044
是端元约束项,μ是控制其约束程度的参数,λ是控制范数||E||21的参数;当像元标记为线性时,使用线性混合模型表示,当像元标记为非线性时,使用非线性混合模型表示;
步骤三三、构建好稀疏自编码器网络后,将划分好区域的高光谱图像数据作为网络的输入,设置参数,网络迭代,直至收敛,其中,编码器的输出单元值是丰度估计值,与下一层相连的权重为端元估计值,通过稀疏自编码器网络对高光谱数据解混后,得到Y种组织端元和对应的丰度估计二维图像yh,h=1,…,Y。
9.根据权利要求8所述的基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,其特征在于所述步骤三一中,变精度的粗糙集方法如下:
Figure FDA0004081518470000045
其中,Z0代表区域中有三个像元标记为H2,有一个像元标记为H0,选择T值最大的像元标记为H0;Z1代表区域中有两个像元标记为H2,有两个像元标记为H0,选择T值最大的两个像元标记为H0;Z2代表区域中有一个像元标记为H2,有三个像元标记为H0,选择T值最小的像元标记为H2
10.根据权利要求8所述的基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,其特征在于所述步骤三二中,稀疏约束的表达式为:
Figure FDA0004081518470000051
端元约束项的具体表达式为:
Figure FDA0004081518470000052
其中,Q代表n行q列的矩阵,Qi,j表示Q矩阵的第i行j列的元素,矩阵Q的l21范数||·||21即为矩阵每一行作为行向量的向量l21范数||·||21之和,上式求和中的根式即为向量l2范数||·||2表达式。
CN202310124577.2A 2023-02-16 2023-02-16 基于自编码器网络的肿瘤细胞切片高光谱图像分类方法 Active CN116091832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310124577.2A CN116091832B (zh) 2023-02-16 2023-02-16 基于自编码器网络的肿瘤细胞切片高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310124577.2A CN116091832B (zh) 2023-02-16 2023-02-16 基于自编码器网络的肿瘤细胞切片高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN116091832A true CN116091832A (zh) 2023-05-09
CN116091832B CN116091832B (zh) 2023-10-20

Family

ID=86206295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310124577.2A Active CN116091832B (zh) 2023-02-16 2023-02-16 基于自编码器网络的肿瘤细胞切片高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN116091832B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413292A (zh) * 2013-07-08 2013-11-27 复旦大学 基于约束最小二乘的高光谱图像非线性丰度估计方法
CN103942830A (zh) * 2014-04-04 2014-07-23 浙江大学 直接利用存在非线性误差的相位实现场景三维重建的方法
CN104952050A (zh) * 2015-07-07 2015-09-30 西安电子科技大学 基于区域分割的高光谱图像自适应解混方法
CN107239660A (zh) * 2017-06-02 2017-10-10 北京航空航天大学 基于混合整数线性规划的粗糙集模型建立方法和装置
US20170323431A1 (en) * 2015-01-30 2017-11-09 Ventana Medical Systems, Inc. Quality metrics for automatic evaluation of dual ish images
CN108399366A (zh) * 2018-01-30 2018-08-14 何德珍 一种基于逐像素分类的遥感图像场景分类提取方法
US20190392261A1 (en) * 2016-05-04 2019-12-26 Shandong University End-member extraction method based on segmented vertex component analysis (vca)
CN111260576A (zh) * 2020-01-14 2020-06-09 哈尔滨工业大学 一种基于去噪三维卷积自编码网络的高光谱解混算法
CN111461087A (zh) * 2020-06-16 2020-07-28 南京理工大学 基于光谱保持稀疏自编码器的高光谱异常检测方法
CN111598786A (zh) * 2019-11-28 2020-08-28 南京航空航天大学 一种基于深度去噪自编码网络的高光谱图像解混方法
CN113744134A (zh) * 2021-09-15 2021-12-03 东华大学 基于光谱解混卷积神经网络的高光谱图像超分辨方法
CN114253962A (zh) * 2022-03-02 2022-03-29 中国测绘科学研究院 一种考虑非线性因素的区域格网速度场构建方法及系统
CN114332481A (zh) * 2022-01-04 2022-04-12 北京环境特性研究所 一种基于非负稀疏自编码器的盲端元提取与光谱解混方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413292A (zh) * 2013-07-08 2013-11-27 复旦大学 基于约束最小二乘的高光谱图像非线性丰度估计方法
CN103942830A (zh) * 2014-04-04 2014-07-23 浙江大学 直接利用存在非线性误差的相位实现场景三维重建的方法
US20170323431A1 (en) * 2015-01-30 2017-11-09 Ventana Medical Systems, Inc. Quality metrics for automatic evaluation of dual ish images
CN104952050A (zh) * 2015-07-07 2015-09-30 西安电子科技大学 基于区域分割的高光谱图像自适应解混方法
US20190392261A1 (en) * 2016-05-04 2019-12-26 Shandong University End-member extraction method based on segmented vertex component analysis (vca)
CN107239660A (zh) * 2017-06-02 2017-10-10 北京航空航天大学 基于混合整数线性规划的粗糙集模型建立方法和装置
CN108399366A (zh) * 2018-01-30 2018-08-14 何德珍 一种基于逐像素分类的遥感图像场景分类提取方法
CN111598786A (zh) * 2019-11-28 2020-08-28 南京航空航天大学 一种基于深度去噪自编码网络的高光谱图像解混方法
CN111260576A (zh) * 2020-01-14 2020-06-09 哈尔滨工业大学 一种基于去噪三维卷积自编码网络的高光谱解混算法
CN111461087A (zh) * 2020-06-16 2020-07-28 南京理工大学 基于光谱保持稀疏自编码器的高光谱异常检测方法
CN113744134A (zh) * 2021-09-15 2021-12-03 东华大学 基于光谱解混卷积神经网络的高光谱图像超分辨方法
CN114332481A (zh) * 2022-01-04 2022-04-12 北京环境特性研究所 一种基于非负稀疏自编码器的盲端元提取与光谱解混方法
CN114253962A (zh) * 2022-03-02 2022-03-29 中国测绘科学研究院 一种考虑非线性因素的区域格网速度场构建方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ROB HEYLEN等: "A Review of Nonlinear Hyperspectral Unmixing Methods", IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING, vol. 7, no. 6, pages 1844 - 1868, XP011555101, DOI: 10.1109/JSTARS.2014.2320576 *
李慧;蔺启忠;刘庆杰;: "基于FAST和SURF的遥感图像自动配准方法", 国土资源遥感, no. 02, pages 28 - 33 *
薛园园: "基于孤立森林的高光谱影像异常目标检测方法", 中国优秀硕士学位论文全文数据库 工程科技II辑, no. 2, pages 028 - 104 *
陈雷;刘静光;张立毅;李锵;孙彦慧;: "基于像元混合模型估计的高光谱图像解混", 红外技术, no. 02, pages 132 - 137 *

Also Published As

Publication number Publication date
CN116091832B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
Zanjani et al. Stain normalization of histopathology images using generative adversarial networks
Chang et al. Two-stage convolutional neural network for medical noise removal via image decomposition
Kumar et al. Breast cancer classification of image using convolutional neural network
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
Zanjani et al. Histopathology stain-color normalization using deep generative models
CN107203989A (zh) 基于全卷积神经网络的端对端胸部ct图像分割方法
CN109886986A (zh) 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN111476266B (zh) 一种基于迁移学习的非平衡类别白细胞分类方法
CN113516210B (zh) 一种基于pet/ct的肺腺癌鳞癌诊断模型训练方法及装置
CN110310287A (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN109410194A (zh) 一种基于深度学习的食管癌病理图像处理方法
CN112560968A (zh) 一种基于卷积和残差网络的her2图像分类方法及系统
CN109118487B (zh) 基于非下采样轮廓波变换和卷积神经网络的骨龄评估方法
CN110728666B (zh) 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统
Viji et al. Modified texture based region growing segmentation of MR brain images
CN110047075A (zh) 一种基于对抗网络的ct图像分割方法
Zhu et al. Metal artifact reduction for X-ray computed tomography using U-net in image domain
CN110008836B (zh) 一种病理组织切片高光谱图像的特征提取方法
CN112750132A (zh) 基于双路径网络和通道注意的白细胞图像分割方法
CN113538422B (zh) 一种基于染色强度矩阵的病理图像自动分类方法
CN116091832B (zh) 基于自编码器网络的肿瘤细胞切片高光谱图像分类方法
Badretale et al. Fully convolutional architecture for low-dose CT image noise reduction
Hidane et al. Image zoom completion
Correa et al. Gfkuts: a novel multispectral image segmentation method applied to precision agriculture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant