CN116091832A - 基于自编码器网络的肿瘤细胞切片高光谱图像分类方法 - Google Patents
基于自编码器网络的肿瘤细胞切片高光谱图像分类方法 Download PDFInfo
- Publication number
- CN116091832A CN116091832A CN202310124577.2A CN202310124577A CN116091832A CN 116091832 A CN116091832 A CN 116091832A CN 202310124577 A CN202310124577 A CN 202310124577A CN 116091832 A CN116091832 A CN 116091832A
- Authority
- CN
- China
- Prior art keywords
- hyperspectral
- pixels
- tumor cell
- self
- encoder network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 210000004881 tumor cell Anatomy 0.000 title claims abstract description 43
- 238000002156 mixing Methods 0.000 claims abstract description 19
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000012417 linear regression Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 19
- 239000000203 mixture Substances 0.000 claims description 13
- 230000001575 pathological effect Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 7
- 230000003595 spectral effect Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 abstract description 2
- 210000001519 tissue Anatomy 0.000 description 14
- 206010028980 Neoplasm Diseases 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 210000004027 cell Anatomy 0.000 description 7
- 201000011510 cancer Diseases 0.000 description 5
- 238000010827 pathological analysis Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000000701 chemical imaging Methods 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010008342 Cervix carcinoma Diseases 0.000 description 1
- 108010077544 Chromatin Proteins 0.000 description 1
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 201000010881 cervical cancer Diseases 0.000 description 1
- 210000003483 chromatin Anatomy 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003436 cytoskeletal effect Effects 0.000 description 1
- 238000012899 de-mixing Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,所述方法包括如下步骤:步骤一:通过显微镜和高光谱成像仪得到肿瘤细胞切片的高光谱图像;步骤二:基于高光谱图像数据,分别进行基于线性回归的最小二乘拟合估计和基于非线性回归的高斯拟合估计,通过滑动窗口设置和三次样条插值法,将混合像元按线性和非线性混合程度进行区域划分;步骤三:基于变精度粗糙集方法处理高光谱图像解混数据,构建稀疏自编码器网络进行解混;步骤四:基于优化的卷积神经网络,对解混得到的端元及丰度结果进行分类,实现肿瘤细胞切片高光谱图像分类。本发明可以降低图像在空间分辨率上的精度要求,提高切片扫描效率,进一步缩短分析诊断时间。
Description
技术领域
本发明属于肿瘤细胞切片高光谱图像领域,涉及一种病变组织的病理切片高光谱图像分类方法,具体涉及一种基于高光谱成像、非线性区域探测、稀疏自编码器网络和卷积神经网络的高光谱病理图像分类方法。
背景技术
癌症是全球发病率高且较难治愈的恶性肿瘤疾病。目前,检测癌症的主要方法仍是对病变组织切片进行显微镜扫查,并作出病理诊断。传统的病理诊断方法需要专家观察切片的组织结构、细胞形态和染色情况等,并结合临床情况和其他检查结果做出诊断。这一过程往往需要一定时间才能得到准确结果,并且易受诊断专家主观经验等因素的影响。现在随着人工智能技术的发展,机器学习等方法被广泛用于医学领域研究。在肿瘤病理智能诊断领域,一般的人工智能方法是拍摄肿瘤组织病理切片在显微镜下的二维光学图像,训练分类模型,实现肿瘤细胞图像的分类。
而随着医学成像技术的发展,高光谱成像技术融合了光谱分析和光学成像两种诊断技术。相比于二维病理图像,高光谱病理图像可以得到具有图像信息和光谱信息的三维高光谱图像数据,其中的光谱维信息能够反映切片细胞组织的特征。对此高光谱病理图像数据进行解混可以得到不同细胞组织端元的丰度分布,基于这些丰度分布训练卷积神经网络模型,可以实现肿瘤细胞切片的分类诊断。同时,高光谱图像的空间分辨率一般低于二维彩色图片(这主要是由于高光谱成像仪前置的滤光环节大大降低了通光量,因此成像传感器不宜采取较大的分辨率),但可以实现较高的光谱分辨率,有利于获得细胞组织的光谱特征。并且较低的空间分辨率可以获得更大的图像视野,缩短病理切片扫描的时间,进一步提高病理诊断的效率。
自编码器网络是一种典型的网络结构,其中的编码器能够对输入数据进行降维处理,以提取输入数据的内在特征,而解码器能够通过所提取的特征还原出原始数据,使还原出的数据和输入的原始数据尽可能相同。高光谱数据的内在特征就是每个像元中的端元组成及其所占的比例,即丰度。而高光谱解混的本质就是将端元和丰度不断组合,以得到最接近实际混合光谱的组合结果。因此,通过自编码器网络可以实现高光谱数据的解混和重构。
高光谱解混算法根据混合方式的不同可以分为线性模型和非线性模型。线性解混模型的物理意义明确,有计算复杂但精度低的特点。非线性解混模型需要考虑不同物质间的反射,模型较复杂,有计算复杂但精度高的特点。
粗糙集理论作为一种处理不精确、不确定、不完备知识的表示、分类、学习方法,已逐渐成为人工智能理论基础方向研究的重要分支,在机器学习、模式识别、医疗诊断等诸多领域有着丰富应用。粗糙集理论的核心思想是利用分类方法,将等价关系确定的等价类当作已知的知识集合,进而利用这些知识来表示任意的对象集。通过一对集值函数:上下接近算子,考虑已知知识包含于对象集还是至少与对象集相交不空,得到对象集在该已知知识框架下的近似范围。然而这种包含关系在现实应用中往往过于苛刻,基于此,Ziarko提出了基于一定包含程度的变精度粗糙集模型。变精度粗糙集模型的核心思想是在经典粗糙集中给出一个阈值,即允许在一定阈值范围内的错误分类率存在,因而变精度粗糙集是经典粗糙集的推广。
目前基于神经网络的图像分类算法应用广泛,特别是在医学图像分类方法研究中,卷积神经网络实现了较高的分类准确率。相比于其他卷积神经网络,GoogLeNet网络在模型的深度(层数)和宽度(层核或者神经元数)上进行了创新。在深度上,GoogLeNet的网络层数达到了22层。在宽度上,网络增加了多种卷积核为1*1、3*3、5*5的卷积层和最大池化层,同时采用集成化的模块设计,在增加的卷积层前和最大池化层后分别加上了1*1的卷积核进行降维处理,以达到减少数据量,增加计算效率的目的。
发明内容
为了克服传统肿瘤细胞切片病理诊断过程繁琐费时和诊断结果易受人为经验影响的问题,本发明提供了一种基于自编码器网络的肿瘤细胞切片高光谱图像分类方法。该方法通过基于最小二乘拟合估计和高斯拟合估计的非线性探测将高光谱图像数据中各像元按线性和非线性混合程度进行划分,再基于变精度的粗糙集方法进行处理,然后将高光谱数据输入稀疏自编码器网络进行无监督的线性或非线性解混,这样既提高了解混精度,又降低了整体的计算量,保证了解混效率,并且使用高光谱图像解混结果作为神经网络训练数据,可以降低切片图像空间分辨率要求,提高切片扫描效率,又可以提高光谱分辨率,有利于细胞特征提取。
本发明的目的是通过以下技术方案实现的:
一种基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,包括如下步骤:
步骤一:通过显微镜和高光谱成像仪得到肿瘤细胞切片的高光谱图像;
步骤二:基于高光谱图像数据,分别进行基于线性回归的最小二乘拟合估计和基于非线性回归的高斯拟合估计,通过滑动窗口设置和三次样条插值法,将混合像元按线性和非线性混合程度进行区域划分;
步骤三:基于变精度粗糙集方法处理高光谱图像解混数据,构建稀疏自编码器网络进行解混;
步骤四:基于优化的卷积神经网络,对解混得到的端元及丰度结果进行分类,实现肿瘤细胞切片高光谱图像分类。
相比于现有技术,本发明具有如下优点:
1)本发明采用高光谱成像仪拍摄肿瘤细胞切片图像,可以得到细胞切片在不同光谱波段下的图像信息,实现较高的光谱分辨率,从而可以降低图像在空间分辨率上的精度要求,提高切片扫描效率,进一步缩短分析诊断时间。
2)本发明采用基于高斯拟合估计和最小二乘拟合估计的非线性混合区域探测算法对高光谱数据进行拟合误差估计,同时设置滑动窗口,对混合像元按区域进行线性和非线性混合程度划分,既实现了高光谱数据的混合区域探测,又防止了探测算法过拟合的现象。
3)本发明基于非线性混合区域探测算法,对高光谱图像数据进行了预处理,结合了线性和非线性解混模型的优点,既可以提高解混精度,又可以提高解混效率。同时,自编码器网络在满足丰度约束时不需额外加入惩罚项,减少了损失函数的复杂性,提高了网络的收敛速度。
4)本发明在对非线性混合区域探测算法划分好区域的高光谱数据进行解混前,使用基于变精度的粗糙集方法对不确定混合区域的像元先进行近似处理,从而构建稀疏自编码器网络进行解混。
5)本发明将高光谱图像用于肿瘤细胞病理诊断,相比于传统的二维光学图像,高光谱数据带有生物组织光谱维信息,利用解混得到的端元及丰度结果训练卷积神经网络,分类精度较高。
附图说明
图1为基于自编码器网络的肿瘤细胞切片高光谱图像分类方法的实施流程图。
图2为自编码器网络的结构图。
图3为卷积神经网络GoogLeNet的结构图。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明,但并不局限于此,凡是对本发明技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,均应涵盖在本发明的保护范围中。
本发明提供了一种一种基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,所述方法通过显微镜和高光谱相机得到肿瘤细胞切片的高光谱图像。基于高光谱图像数据,分别进行基于线性回归的最小二乘拟合估计和基于非线性回归的高斯拟合估计,由拟合误差计算统计量,通过滑动窗口处理将像元按线性和非线性混合程度进行划分。进一步基于变精度粗糙集方法处理划分好的高光谱数据,再输入到自编码器网络中,根据划分结果选择线性或非线性重构方式,将重构误差作为损失函数,从而得到编码器的输出即估计丰度,其与下一层的连接权重即为端元矩阵。以得到的端元及丰度结果作为训练集,训练优化的卷积神经网络模型,可实现肿瘤细胞切片的分类。
本发明实现的流程图如图1所示,共分为四个步骤,具体步骤如下:
步骤一:通过显微镜和高光谱成像仪得到肿瘤细胞切片的高光谱图像。
本发明中,高光谱成像系统由高光谱成像仪和显微镜组成,通过接口将高光谱成像仪与显微镜连接。将肿瘤细胞病理切片放至显微镜载物台,调整显微镜物镜放大倍率,使能够观察到清晰切片图像。由高光谱成像仪拍摄图片,光谱波段在350nm至1000nm范围内进行选择,选定N个波段。图像尺寸为sizeX×sizeY(sizeX、sizeY一般为偶数)。通过此高光谱成像仪可得到肿瘤细胞切片的高光谱图像。
步骤二:基于高光谱图像数据,分别进行基于线性回归的最小二乘拟合估计和基于非线性回归的高斯拟合估计,再通过设置滑动窗口和三次样条插值法,将混合像元X按线性和非线性混合程度进行区域划分。具体步骤如下:
步骤二一:对高光谱图像的所有混合像元X分别进行基于线性回归的最小二乘拟合估计和基于非线性回归的高斯拟合估计,其中:
混合像元X的混合模型数学表示可写为:
X=f(a)+ξ
其中,ξ=N(0,σn 2),是零均值,方差函数为k(·,·)的高斯先验分布,a=(a1,...,aM)T是代表丰度的一个列向量。
假设非线性区域探测符合下面的假设检验问题:
其中,E是端元矩阵。当接受假设H0,则标记像元是线性混合区域。当接受假设H1,则标记像元是不确定混合区域。当接受假设H2,则标记像元是非线性混合区域。
最小二乘拟合估计误差定义为:
高斯拟合估计将训练集{E,X}分为输入的端元矩阵E和输出的混合像元X,对X的高斯先验分布为:
X~N(0,K+σ2I)
其中矩阵K的元素由输入ei,ej的核函数Kij=k(ei,ej)组成,I是d×d的单位矩阵。高斯拟合估计的目的是对新的端元输入拟合估计出其混合像元模型的数学表示f(A),但本发明只需要估计现有的高光谱数据和模型间的拟合误差,不必使用新的数据输入。因此,高斯拟合估计的误差定义为:
步骤二二:设置2*2的滑动窗口,用两个拟合误差向量的范数的平方计算窗口范围内每个像元的统计量T,然后利用三次样条插值法,计算滑动窗口区域对应的统计量,其中:
统计量T定义为:
利用三次样条插值法,计算滑动窗口区域对应的统计量的具体步骤如下:
(1)滑动窗口每次对四个像元统计量进行三次样条插值。
(2)将四个像元的统计量T按顺序排列,设每个像元对应的坐标点为(tp,Tp),p=0,1,2,3,其中tp为像元对应的顺序,Tp为像元的统计量T,可得到由三条区间段插值曲线连成的插值曲线。每个区间段插值曲线公式为:
Sp(t)=wp+bp(t-tp)+cp(t-tp)2+dp(t-tp)3
其中wp,bp,cp,dp是曲线参数;t是滑动窗口内的像素插值后所对应的新像素排列序号;Sp(t)是插值后的像素所对应数值。
(3)得到插值曲线后,选择曲线对应T轴的数值范围的中值作为此窗口区域的统计量R。
步骤二三、根据统计量R,将混合像元X按线性和非线性混合程度进行区域划分。具体步骤如下:
设α和β是探测器的阈值,且α<β。对于滑动窗口内的像元,当R>β时接受假设H0,标记像元是线性混合区域。当R<α时接受假设H2,标记像元是非线性混合区域。否则接受假设H1,标记像元是不确定混合区域。依次移动滑动窗口,将高光谱图像的所有混合像元X进行区域划分。
步骤三:基于变精度粗糙集方法处理高光谱图像解混数据,构建稀疏自编码器网络进行解混。具体步骤如下:
步骤三一、在对划分好区域的高光谱数据进行解混前,使用基于变精度的粗糙集方法对不确定混合区域(即:接受假设H1的区域)的像元进行近似处理,将所有不确定混合区域的像元划分为线性或非线性混合区域像元。
变精度的粗糙集方法如下:
其中,Z0代表区域中有三个像元标记为H2,有一个像元标记为H0,选择T值最大的像元标记为H0;Z1代表区域中有两个像元标记为H2,有两个像元标记为H0,选择T值最大的两个像元标记为H0;Z2代表区域中有一个像元标记为H2,有三个像元标记为H0,选择T值最小的像元标记为H2;经过近似处理,能够降低背景光线等外部干扰对解混的影响,以提高解混模型的抗干扰能力和解混精度。
步骤三二、构建稀疏自编码器网络,采用具有非负属性的ReLu函数作为网络层之间的激活函数,可以满足丰度的非负约束,而不需要增加惩罚项。同时,为了克服端元矩阵中较多的冗余行带来的影响,提高解混效果,选择了l21范数作为稀疏约束,其表达式为:
其中,下角标中“:”代表该位置变量取值从其定义域的最小值到最大值的整个遍历,Q代表n行q列的矩阵,Qi,j表示Q矩阵的第i行j列的元素,矩阵Q的l21范数||·||21即为矩阵每一行作为行向量的向量l21范数||·||21之和,上式求和中的根式即为向量l2范数||·||2表达式。在l21范数尽可能小的条件下,每一行的l2范数都需要尽可能小,即出现尽可能多的0。因此上式可以使编码器权重矩阵M的每行元素中的0值尽可能多,从而实现行稀疏。所构建稀疏自编码器网络的目标函数如下:
其中,为端元估计矩阵,为丰度估计矩阵,F范数的作用是使重构误差达到最小,是端元约束项,μ是控制其约束程度的参数,λ是控制范数||E||21的参数。当像元标记为线性时,使用线性混合模型表示,当像元标记为非线性时,使用非线性混合模型表示。
可以看出,此约束项服从已知的高斯分布,可看作网络权重的先验信息。
步骤三三、构建好稀疏自编码器网络后,将划分好区域的高光谱图像数据作为网络的输入,设置参数,网络迭代,直至收敛。其中,编码器的输出单元值是丰度估计值,与下一层相连的权重为端元估计值。通过稀疏自编码器网络对高光谱数据解混后,可得到Y种组织端元和对应的丰度估计二维图像yh,h=1,…,Y。
步骤四:基于优化的卷积神经网络GoogLeNet,对解混得到的端元及丰度结果进行分类,实现肿瘤细胞切片高光谱图像分类。
恶性肿瘤细胞往往会出现细胞骨架结构紊乱和染色质不团聚、分布混乱等病理形态学特点。对于得到的Y种组织端元和对应的丰度估计图yh,不同端元对应的丰度估计图yh均为二维灰度图像,图像大小为sizeX×sizeY。端元数Y可以看作输入图像数据的通道数。因此,将大小为sizeX×sizeY×Y的解混数据作为输入,使用经典的卷积神经网络GoogLeNet进行分类。由于GoogLeNet神经网络具有较多的网络层数和集成化的模块结构,可以充分提取高光谱数据的特征。同时,考虑到过多的神经网络层数会导致特征丢失和算法效率问题,对模型的网络层数进行调整,使神经网络在达到满意的分类结果的同时,具有较高的计算效率。
实施例:
本实施例中,实验样本采用真实实际宫颈癌患者病理切片,切片已由专家标定出肿瘤组织区域。为降低噪声的影响,只保留350nm至1000nm范围中受噪声影响较小的256个波段的数据作为本次实验的高光谱数据集。
执行步骤一:通过显微镜和高光谱成像仪得到肿瘤细胞切片的高光谱图像。
将肿瘤细胞病理切片放至显微镜载物台,调整显微镜物镜放大倍率,使能够观察到清晰切片图像。由高光谱成像仪拍摄图片,光谱波段选择350nm至1000nm范围内的256个波段,图像尺寸为224*224,共50176个像元。由此得到肿瘤细胞切片的高光谱图像。
执行步骤二:基于高光谱图像数据,分别进行基于线性回归的最小二乘拟合估计和基于非线性回归的高斯拟合估计,再通过设置2*2的滑动窗口和三次样条插值法,将混合像元X按线性和非线性混合程度进行区域划分。
(1)得到高光谱图像数据后,对混合像元X分别进行基于线性回归的最小二乘拟合估计和基于非线性回归的高斯拟合估计。
最小二乘拟合估计误差定义为:
高斯拟合估计的误差定义为:
(2)设置2*2的滑动窗口,用两个拟合误差向量的范数的平方计算窗口范围内每个像元的统计量T,然后利用三次样条插值法,计算滑动窗口区域对应的统计量。统计量T定义为:
将四个像元的统计量T按顺序排列,设每个像元对应的坐标点为(tp,Tp),p=0,1,2,3,其中tp为像元对应的顺序,Tp为像元的统计量T。可得到由三条区间段插值曲线连成的插值曲线。每个区间段插值曲线公式为:
Sp(t)=wp+bp(t-tp)+cp(t-tp)2+dp(t-tp)3
其中p=0,1,2,3,wp,bp,cp,dp是曲线参数。得到插值曲线后,选择曲线对应T轴的数值范围的中值作为此窗口区域的统计量R。
(3)根据统计量R,将混合像元X按线性和非线性混合程度进行区域划分。
设α和β是探测器的阈值,且α<β。对于滑动窗口内的像元,当R>β时接受假设H0,标记像元是线性混合区域。当R<α时接受假设H2,标记像元是非线性混合区域。否则接受假设H1,标记像元是不确定混合区域。依次移动滑动窗口,将高光谱图像的所有混合像元X进行区域划分。
执行步骤三:基于变精度粗糙集方法处理高光谱图像解混数据,构建稀疏自编码器网络进行解混。
(1)在对划分好区域的高光谱数据进行解混前,使用基于变精度的粗糙集方法对不确定混合区域的像元进行近似处理,具体的变精度粗糙集方法如下:
其中,Z0代表区域中有三个像元标记为H2,有一个像元标记为H0,选择T值最大的像元标记为H0。Z1代表区域中有两个像元标记为H2,有两个像元标记为H0,选择T值最大的两个像元标记为H0。Z2代表区域中有一个像元标记为H2,有三个像元标记为H0,选择T值最小的像元标记为H2。
(2)构建自编码器网络,图2为本发明实施所采用的自编码器网络的结构图。采用ReLu函数作为网络层之间的激活函数,选择l21范数作为稀疏约束。所构建稀疏自编码器网络的目标函数如下:
当像元标记为线性时,使用线性混合模型表示,有:
当像元标记为非线性时,使用非线性混合模型表示,有:
表1稀疏自编码器网络结构
将划分好区域的高光谱图像数据作为网络的输入,设置参数ε=0.001,μ=0.01,学习率0.001,网络迭代,直至收敛。通过自编码器网络对高光谱数据解混后,可得到Y种组织端元和对应的丰度估计二维图像yh,h=1,…,Y。
执行步骤四:基于优化的卷积神经网络GoogLeNet,对解混得到的端元及丰度结果进行分类,实现肿瘤细胞切片高光谱图像分类。
对于得到的Y种组织端元和对应的丰度估计图yh,不同端元对应的丰度估计图yh均为二维灰度图像,图像大小为sizeX×sizeY。端元数Y可以看作输入图像数据的通道数。因此,将大小为sizeX×sizeY×Y的解混数据作为输入,使用经典的卷积神经网络GoogLeNet进行分类,图3为本实施例所采用的神经网络的结构图。考虑到过多的神经网络层数会导致特征丢失和算法效率问题,将模型的网络层数变为8层。将专家标定过的肿瘤细胞切片的高光谱图像解混结果作为训练集,采用有癌症和无癌症两个标签作为分类结果。由此可以通过细胞组织端元及丰度解混结果,进行图像分类,实现肿瘤细胞高光谱切片图像的分类。
Claims (10)
1.一种基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,其特征在于所述方法包括如下步骤:
步骤一:通过显微镜和高光谱成像仪得到肿瘤细胞切片的高光谱图像;
步骤二:基于高光谱图像数据,分别进行基于线性回归的最小二乘拟合估计和基于非线性回归的高斯拟合估计,通过滑动窗口设置和三次样条插值法,将混合像元按线性和非线性混合程度进行区域划分;
步骤三:基于变精度粗糙集方法处理高光谱图像解混数据,构建稀疏自编码器网络进行解混;
步骤四:基于优化的卷积神经网络,对解混得到的端元及丰度结果进行分类,实现肿瘤细胞切片高光谱图像分类。
2.根据权利要求1所述的基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,其特征在于所述步骤一的具体步骤如下:
步骤一一、将肿瘤细胞病理切片放至显微镜载物台,调整显微镜物镜放大倍率,使能够观察到清晰切片图像;
步骤一二、由高光谱成像仪拍摄图片,光谱波段在350nm至1000nm范围内进行选择,选定N个波段,图像尺寸为sizeX×sizeY,得到肿瘤细胞切片的高光谱图像。
3.根据权利要求1所述的基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,其特征在于所述步骤二的具体步骤如下:
步骤二一:对高光谱图像的所有混合像元X分别进行基于线性回归的最小二乘拟合估计和基于非线性回归的高斯拟合估计,其中,混合像元X的混合模型数学表示为:
X=f(a)+ξ
其中,ξ=N(0,σn 2),是零均值,方差函数为k(·,·)的高斯先验分布,a=(a1,...,aM)T是代表丰度的一个列向量;
假设非线性区域探测符合下面的假设检验问题:
其中,E是端元矩阵;当接受假设H0,则标记像元是线性混合区域;当接受假设H1,则标记像元是不确定混合区域;当接受假设H2,则标记像元是非线性混合区域;
步骤二二:设置2*2的滑动窗口,用两个拟合误差向量的范数的平方计算窗口范围内每个像元的统计量T,然后利用三次样条插值法,计算滑动窗口区域对应的统计量R;
步骤二三、根据统计量R,将混合像元X按线性和非线性混合程度进行区域划分。
6.根据权利要求3所述的基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,其特征在于所述步骤二二中,利用三次样条插值法,计算滑动窗口区域对应的统计量的具体步骤如下:
(1)滑动窗口每次对四个像元统计量进行三次样条插值;
(2)将四个像元的统计量T按顺序排列,设每个像元对应的坐标点为(tp,Tp),p=0,1,2,3,其中tp为像元对应的顺序,Tp为像元的统计量T,可得到由三条区间段插值曲线连成的插值曲线,每个区间段插值曲线公式为:
Sp(t)=wp+bp(t-tp)+cp(t-tp)2+dp(t-tp)3
其中wp,bp,cp,dp是曲线参数;t是滑动窗口内的像素插值后所对应的新像素排列序号;Sp(t)是插值后的像素所对应数值;
(3)得到插值曲线后,选择曲线对应T轴的数值范围的中值作为此窗口区域的统计量R。
7.根据权利要求3所述的基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,其特征在于所述步骤二三的具体步骤如下:
设α和β是探测器的阈值,且α<β,对于滑动窗口内的像元,当R>β时接受假设H0,标记像元是线性混合区域;当R<α时接受假设H2,标记像元是非线性混合区域;否则接受假设H1,标记像元是不确定混合区域;依次移动滑动窗口,将高光谱图像的所有混合像元X进行区域划分。
8.根据权利要求1所述的基于自编码器网络的肿瘤细胞切片高光谱图像分类方法,其特征在于所述步骤三的具体步骤如下:
步骤三一、在对划分好区域的高光谱数据进行解混前,使用基于变精度的粗糙集方法对不确定混合区域的像元进行近似处理,将所有不确定混合区域的像元划分为线性或非线性混合区域像元;
步骤三二、构建稀疏自编码器网络,采用具有非负属性的ReLu函数作为网络层之间的激活函数,选择l21范数作为稀疏约束,所构建稀疏自编码器网络的目标函数如下:
其中,为端元估计矩阵,为丰度估计矩阵,F范数的作用是使重构误差达到最小,是端元约束项,μ是控制其约束程度的参数,λ是控制范数||E||21的参数;当像元标记为线性时,使用线性混合模型表示,当像元标记为非线性时,使用非线性混合模型表示;
步骤三三、构建好稀疏自编码器网络后,将划分好区域的高光谱图像数据作为网络的输入,设置参数,网络迭代,直至收敛,其中,编码器的输出单元值是丰度估计值,与下一层相连的权重为端元估计值,通过稀疏自编码器网络对高光谱数据解混后,得到Y种组织端元和对应的丰度估计二维图像yh,h=1,…,Y。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310124577.2A CN116091832B (zh) | 2023-02-16 | 2023-02-16 | 基于自编码器网络的肿瘤细胞切片高光谱图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310124577.2A CN116091832B (zh) | 2023-02-16 | 2023-02-16 | 基于自编码器网络的肿瘤细胞切片高光谱图像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116091832A true CN116091832A (zh) | 2023-05-09 |
CN116091832B CN116091832B (zh) | 2023-10-20 |
Family
ID=86206295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310124577.2A Active CN116091832B (zh) | 2023-02-16 | 2023-02-16 | 基于自编码器网络的肿瘤细胞切片高光谱图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116091832B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103413292A (zh) * | 2013-07-08 | 2013-11-27 | 复旦大学 | 基于约束最小二乘的高光谱图像非线性丰度估计方法 |
CN103942830A (zh) * | 2014-04-04 | 2014-07-23 | 浙江大学 | 直接利用存在非线性误差的相位实现场景三维重建的方法 |
CN104952050A (zh) * | 2015-07-07 | 2015-09-30 | 西安电子科技大学 | 基于区域分割的高光谱图像自适应解混方法 |
CN107239660A (zh) * | 2017-06-02 | 2017-10-10 | 北京航空航天大学 | 基于混合整数线性规划的粗糙集模型建立方法和装置 |
US20170323431A1 (en) * | 2015-01-30 | 2017-11-09 | Ventana Medical Systems, Inc. | Quality metrics for automatic evaluation of dual ish images |
CN108399366A (zh) * | 2018-01-30 | 2018-08-14 | 何德珍 | 一种基于逐像素分类的遥感图像场景分类提取方法 |
US20190392261A1 (en) * | 2016-05-04 | 2019-12-26 | Shandong University | End-member extraction method based on segmented vertex component analysis (vca) |
CN111260576A (zh) * | 2020-01-14 | 2020-06-09 | 哈尔滨工业大学 | 一种基于去噪三维卷积自编码网络的高光谱解混算法 |
CN111461087A (zh) * | 2020-06-16 | 2020-07-28 | 南京理工大学 | 基于光谱保持稀疏自编码器的高光谱异常检测方法 |
CN111598786A (zh) * | 2019-11-28 | 2020-08-28 | 南京航空航天大学 | 一种基于深度去噪自编码网络的高光谱图像解混方法 |
CN113744134A (zh) * | 2021-09-15 | 2021-12-03 | 东华大学 | 基于光谱解混卷积神经网络的高光谱图像超分辨方法 |
CN114253962A (zh) * | 2022-03-02 | 2022-03-29 | 中国测绘科学研究院 | 一种考虑非线性因素的区域格网速度场构建方法及系统 |
CN114332481A (zh) * | 2022-01-04 | 2022-04-12 | 北京环境特性研究所 | 一种基于非负稀疏自编码器的盲端元提取与光谱解混方法 |
-
2023
- 2023-02-16 CN CN202310124577.2A patent/CN116091832B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103413292A (zh) * | 2013-07-08 | 2013-11-27 | 复旦大学 | 基于约束最小二乘的高光谱图像非线性丰度估计方法 |
CN103942830A (zh) * | 2014-04-04 | 2014-07-23 | 浙江大学 | 直接利用存在非线性误差的相位实现场景三维重建的方法 |
US20170323431A1 (en) * | 2015-01-30 | 2017-11-09 | Ventana Medical Systems, Inc. | Quality metrics for automatic evaluation of dual ish images |
CN104952050A (zh) * | 2015-07-07 | 2015-09-30 | 西安电子科技大学 | 基于区域分割的高光谱图像自适应解混方法 |
US20190392261A1 (en) * | 2016-05-04 | 2019-12-26 | Shandong University | End-member extraction method based on segmented vertex component analysis (vca) |
CN107239660A (zh) * | 2017-06-02 | 2017-10-10 | 北京航空航天大学 | 基于混合整数线性规划的粗糙集模型建立方法和装置 |
CN108399366A (zh) * | 2018-01-30 | 2018-08-14 | 何德珍 | 一种基于逐像素分类的遥感图像场景分类提取方法 |
CN111598786A (zh) * | 2019-11-28 | 2020-08-28 | 南京航空航天大学 | 一种基于深度去噪自编码网络的高光谱图像解混方法 |
CN111260576A (zh) * | 2020-01-14 | 2020-06-09 | 哈尔滨工业大学 | 一种基于去噪三维卷积自编码网络的高光谱解混算法 |
CN111461087A (zh) * | 2020-06-16 | 2020-07-28 | 南京理工大学 | 基于光谱保持稀疏自编码器的高光谱异常检测方法 |
CN113744134A (zh) * | 2021-09-15 | 2021-12-03 | 东华大学 | 基于光谱解混卷积神经网络的高光谱图像超分辨方法 |
CN114332481A (zh) * | 2022-01-04 | 2022-04-12 | 北京环境特性研究所 | 一种基于非负稀疏自编码器的盲端元提取与光谱解混方法 |
CN114253962A (zh) * | 2022-03-02 | 2022-03-29 | 中国测绘科学研究院 | 一种考虑非线性因素的区域格网速度场构建方法及系统 |
Non-Patent Citations (4)
Title |
---|
ROB HEYLEN等: "A Review of Nonlinear Hyperspectral Unmixing Methods", IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING, vol. 7, no. 6, pages 1844 - 1868, XP011555101, DOI: 10.1109/JSTARS.2014.2320576 * |
李慧;蔺启忠;刘庆杰;: "基于FAST和SURF的遥感图像自动配准方法", 国土资源遥感, no. 02, pages 28 - 33 * |
薛园园: "基于孤立森林的高光谱影像异常目标检测方法", 中国优秀硕士学位论文全文数据库 工程科技II辑, no. 2, pages 028 - 104 * |
陈雷;刘静光;张立毅;李锵;孙彦慧;: "基于像元混合模型估计的高光谱图像解混", 红外技术, no. 02, pages 132 - 137 * |
Also Published As
Publication number | Publication date |
---|---|
CN116091832B (zh) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zanjani et al. | Stain normalization of histopathology images using generative adversarial networks | |
Chang et al. | Two-stage convolutional neural network for medical noise removal via image decomposition | |
Kumar et al. | Breast cancer classification of image using convolutional neural network | |
CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
CN110889852B (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
Zanjani et al. | Histopathology stain-color normalization using deep generative models | |
CN107203989A (zh) | 基于全卷积神经网络的端对端胸部ct图像分割方法 | |
CN109886986A (zh) | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 | |
CN111476266B (zh) | 一种基于迁移学习的非平衡类别白细胞分类方法 | |
CN113516210B (zh) | 一种基于pet/ct的肺腺癌鳞癌诊断模型训练方法及装置 | |
CN110310287A (zh) | 基于神经网络的危及器官自动勾画方法、设备和存储介质 | |
CN109410194A (zh) | 一种基于深度学习的食管癌病理图像处理方法 | |
CN112560968A (zh) | 一种基于卷积和残差网络的her2图像分类方法及系统 | |
CN109118487B (zh) | 基于非下采样轮廓波变换和卷积神经网络的骨龄评估方法 | |
CN110728666B (zh) | 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统 | |
Viji et al. | Modified texture based region growing segmentation of MR brain images | |
CN110047075A (zh) | 一种基于对抗网络的ct图像分割方法 | |
Zhu et al. | Metal artifact reduction for X-ray computed tomography using U-net in image domain | |
CN110008836B (zh) | 一种病理组织切片高光谱图像的特征提取方法 | |
CN112750132A (zh) | 基于双路径网络和通道注意的白细胞图像分割方法 | |
CN113538422B (zh) | 一种基于染色强度矩阵的病理图像自动分类方法 | |
CN116091832B (zh) | 基于自编码器网络的肿瘤细胞切片高光谱图像分类方法 | |
Badretale et al. | Fully convolutional architecture for low-dose CT image noise reduction | |
Hidane et al. | Image zoom completion | |
Correa et al. | Gfkuts: a novel multispectral image segmentation method applied to precision agriculture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |