CN116612333B - 一种基于快速全卷积网络的医学高光谱影像分类方法 - Google Patents
一种基于快速全卷积网络的医学高光谱影像分类方法 Download PDFInfo
- Publication number
- CN116612333B CN116612333B CN202310871727.6A CN202310871727A CN116612333B CN 116612333 B CN116612333 B CN 116612333B CN 202310871727 A CN202310871727 A CN 202310871727A CN 116612333 B CN116612333 B CN 116612333B
- Authority
- CN
- China
- Prior art keywords
- dimensional convolution
- result
- network
- convolution result
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000005070 sampling Methods 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000010183 spectrum analysis Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 description 7
- 208000003174 Brain Neoplasms Diseases 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000000701 chemical imaging Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000007477 logistic regression Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/58—Extraction of image or video features relating to hyperspectral data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了一种基于快速全卷积网络的医学高光谱影像分类方法，属于医学高光谱影像技术领域，包括：对医学高光谱图像进行预处理并采样，得到训练样本集；将训练样本集输入至基于编码器‑解码器的全卷积网络，完成对医学高光谱图像的训练；将医学高光谱图像中的待分类像素输入至训练后的基于编码器‑解码器的全卷积网络，得到分类结果。本发明提供了一种基于快速全卷积网络的医学高光谱影像分类方法，针对医学高光谱影像已有分类方法效率低、性能不足等问题，设计了基于快速全卷积网络的分类方法，避免了对图像块之间重叠区域的冗余计算，大大提高了推理速度。
Description
技术领域
本发明涉及医学高光谱影像技术领域，具体涉及一种基于快速全卷积网络的医学高光谱影像分类方法。
背景技术
高光谱影像（Hyperspectral Image，HSI）与传统的彩色数字影像相比具有更高的光谱分辨率，通常含有数十上百个波段。丰富的光谱信息可以为目标的精确识别提供依据。所以它在遥感领域方面应用非常的广泛。随着科技的进步，光谱成像的优势已经被应用于各个领域。例如，考古壁画保护、物证鉴定和食品无损检测等。其中随着医学光谱成像技术的持续发展，医疗健康成为了HSI增长最快的应用领域。对于医学应用来说，医学高光谱影像（Medical Hyperspectral Image，MHSI）不仅能够提供各组织结构的二维空间分布信息，而且可以获得生物组织样本上某一点在感兴趣波长范围的完整光谱，对不同病理组织的化学组成和物理特征进行分析。所以，MHSI快速准确地分类使非侵入性的疾病诊断和临床治疗应用成为可能。
MHSI分类是根据影像的特征为像素分配一个语义标签。早期针对HSI分类的研究，一些基于光谱信息的分类器如支持向量机（Support Vector Machines，SVM）、随机森林(Random forest，RF)和多项逻辑回归(Multinomial Logistic Regression，MLR)等取得了一定的成功。最近几年来，为了充分利用高光谱影像的空间特征，许多基于空间-光谱特征的分类方法如联合稀疏表示（Joint Sparse Representation，JSR）、联合最近邻（JointNearest Neighbor，JNN）、联合类内协同表示(Joint Collaborative Representation，JCR)，利用像素的空间邻域信息，获取精度较高的分类结果。除此之外，为了自动获取更一般的光谱-空间特征，目前在HSI分类中引入了深度学习技术作为数据驱动的自动特征学习框架，其中，卷积神经网络（Convolutional Neural Networks，CNN）作为分级的光谱-空间特征表示学习框架，在HSI分类中得到了广泛的应用，与传统方法相比，准确率有显著提高。
目前基于光谱信息的分类方法由于缺乏空间上下文信息的利用，这类方法的分类结果通常存在大量的噪声斑点，难以满足高光谱影像的应用需求。在应对超复杂表面时，尤其当待分类像素处于异质区域时，现阶段基于空间光谱信息融合的方法的区分性能受异质像素的干扰而下降，另外由于涉及到空谱信息融合这类方法通常需要较长的运算时间。而基于CNN的方法遵循基于图像块的局部学习框架，由于相邻像素的图像块相互重叠，因而会造成冗余计算，限制了其运算速度，同时图像块的大小比整幅图像的大小小很多，只能提取一些局部的特征，从而导致分类的性能受到限制。
因此，针对现有的基于CNN的分类方法所存在的不足，如何提高医学高光谱影像分类方法的运算效率，成为目前亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供了一种基于快速全卷积网络的医学高光谱影像分类方法，以解决现有技术中医学高光谱影像分类方法遵循基于图像块的局部学习框架，由于相邻像素的图像块相互重叠，因而会造成冗余计算，运算效率低的问题。
本发明实施例提供了一种基于快速全卷积网络的医学高光谱影像分类方法，包括：
对医学高光谱图像进行预处理并采样，得到训练样本集；
将训练样本集输入至基于编码器-解码器的全卷积网络，完成对医学高光谱图像的训练；
将医学高光谱图像中的待分类像素输入至训练后的基于编码器-解码器的全卷积网络，得到分类结果；
其中，将训练样本集输入至基于编码器-解码器的全卷积网络，完成对医学高光谱图像的训练，包括：
通过主干块将训练样本集转换为固定数量通道输出；
通过第一混合块对训练样本集进行采样，得到若干第一特征值；对第一特征值进行一次一维卷积，得到第一一维卷积结果；对第一一维卷积结果进行一次二维卷积，得到第一二维卷积结果；
通过第二混合块对第一二维卷积结果进行采样，得到若干第二特征值；对第二特征值进行一次一维卷积，得到第二一维卷积结果；对第二一维卷积结果进行一次二维卷积，得到第二二维卷积结果；
通过第三混合块对第二二维卷积结果进行采样，得到若干第三特征值；对第三特征值进行一次一维卷积，得到第三一维卷积结果；对第三一维卷积结果进行一次二维卷积，得到第三二维卷积结果；
通过第四混合块对第三二维卷积结果进行一次一维卷积，得到第四一维卷积结果；对第四一维卷积结果进行一次二维卷积，得到第四二维卷积结果；
对第一二维卷积结果、第二二维卷积结果、第三二维卷积结果和第四二维卷积结果通过解码器网络进行聚合，以恢复输入的训练样本集的空间细节；
采用头子网络对通过解码器网络聚合得到的顶层特征进行像素分类，得到训练分类结果；
对训练分类结果计算损失函数；
根据损失函数，通过反向传播对基于编码器-解码器的全卷积网络进行权重更新；
其中，第一混合块、第二混合块、第三混合块和第四混合块通过卷积注意力模块进行卷积计算；
通过基于横向连接的语义-空间融合的第一卷积层，将解码器网络的第一细化模块与第四混合块进行连接，用于将第四二维卷积结果传递至编码器网络；
通过基于横向连接的语义-空间融合的第二卷积层，将解码器网络的第二细化模块与第三混合块进行连接，用于将第三二维卷积结果传递至编码器网络；
通过基于横向连接的语义-空间融合的第三卷积层，将解码器网络的第三细化模块与第二混合块进行连接，用于将第二二维卷积结果传递至编码器网络；
通过基于横向连接的语义-空间融合的第四卷积层，将解码器网络的头子网络与第一混合块进行连接，用于将第一二维卷积结果传递至编码器网络；
头子网络由3×3卷积层和带有N个滤波器的1×1卷积层组成；其中，N为类别数；
根据损失函数，通过反向传播对基于编码器-解码器的全卷积网络进行权重更新，包括：
对于第i次迭代，基于编码器-解码器的全卷积网络的第k个权值更新为：
；
；
其中，p是Ri中的二维空间位置；n=|Ri|；η为学习速率；l为分类损失；为采样的高光谱图像真值图；/>为预测图；映射/>为无patch模型；C是输入X的频带数。
可选地，还包括：
对医学高光谱图像进行测试样本采样；
通过测试样本对分类结果进行分类精度评定。
可选地，对医学高光谱图像进行预处理并采样，得到训练样本集，包括：
通过二维奇异谱分析法对医学高光谱图像进行去噪处理。
可选地，对训练分类结果计算损失函数，包括：
采用随机梯度下降法最小化得到训练分类结果的损失函数。
可选地，对第一二维卷积结果、第二二维卷积结果、第三二维卷积结果和第四二维卷积结果通过解码器网络进行聚合，以恢复输入的训练样本集的空间细节，包括：
通过第一上采样模块将第一细化模块和第二细化模块进行连接，以聚合第四二维卷积结果和第三二维卷积结果；
通过第二上采样模块将第二细化模块和第三细化模块进行连接，以聚合第四二维卷积结果、第三二维卷积结果和第二二维卷积结果；
通过第三上采样模块将第三细化模块和头子网络进行连接，以聚合第四二维卷积结果、第三二维卷积结果、第二二维卷积结果和第一二维卷积结果。
可选地，基于横向连接的语义-空间融合的卷积层为：
；
其中，qj为解码器中细化阶段#j的特征映射；p4-j为编码器中混合块#4-j的特征映射；qj+1是语义-空间融合的卷积层输出；j=1，2，3。
本发明实施例的有益效果：
1、本发明实施例提供了一种基于快速全卷积网络的医学高光谱影像分类方法，针对医学高光谱影像已有分类方法效率低、性能不足等问题，设计了基于快速全卷积网络（FCN）的分类方法，避免了对图像块之间重叠区域的冗余计算，大大提高了推理速度。
2、通过基于卷积注意力模块（CBAM）和横向连接的语义-空间融合（SSF）的FCN网络，最大限度地利用全局空间背景和细节，CBAM在全局空间环境引导下对特征映射的相互依赖性进行建模；基于横向连接的SSF利用浅层特征的全局空间细节逐步细化语义特征，并采用残差学习方法，通过逐点相加的方式融合特征，缓解了梯度消失问题，共同显著提高FCN性能。
3、通过像素度正切映射有效增加同质像素的聚集性，异质像素的可分性，从而获得比传统分类方法更好的分类结果。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了本发明实施例中一种基于快速全卷积网络的医学高光谱影像分类方法的流程图；
图2示出了本发明实施例中一种快速全卷积网络的分类过程图；
图3示出了本发明实施例中一种脑癌活体组织的假彩色影像；
图4示出了本发明实施例中一种脑癌活体组织的真实标记图；
图5示出了本发明实施例中一种脑癌活体组织的SVM分类结果图；
图6示出了本发明实施例中一种脑癌活体组织的JNN分类结果图；
图7示出了本发明实施例中一种脑癌活体组织的JSRC分类结果图；
图8示出了本发明实施例中一种脑癌活体组织的FCN分类结果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种基于快速全卷积网络的医学高光谱影像分类方法，如图1所示，包括：
步骤S10，对医学高光谱图像进行预处理并采样，得到训练样本集。
在本实施例中，通过二维奇异谱分析法（Singular Spectrum Analysis，SSA）对医学高光谱图像进行去噪处理，以提高输入图像质量。
步骤S20，将训练样本集输入至基于编码器-解码器的全卷积网络，完成对医学高光谱图像的训练。
在本实施例中，从待分类的医学高光谱图像中人工选取若干个训练样本，输入至至基于编码器-解码器的全卷积网络（Fully Convolutional Networks，FCN），进行针对待分类的医学高光谱图像的训练。在具体实施例中，选取10个样本，8个作为训练样本，2个作为测试样本。
步骤S30，将医学高光谱图像中的待分类像素输入至训练后的基于编码器-解码器的全卷积网络，得到分类结果。
在本实施例中，经过训练后的FCN网络收敛后，再将待分类的医学高光谱图像输入FCN进行一次前向运算实现高光谱影像（Hyperspectral Image，HSI）分类。
本发明实施例提供了一种基于快速全卷积网络的医学高光谱影像分类方法，针对医学高光谱影像已有分类方法效率低、性能不足等问题，设计了基于快速全卷积网络（FCN）的分类方法，避免了对图像块之间重叠区域的冗余计算，大大提高了推理速度。
作为可选的实施方式，还包括：
对医学高光谱图像进行测试样本采样；
通过测试样本对分类结果进行分类精度评定。
在本实施例中，通过步骤S20中的两个测试样本对分类结果进行精度评定，将用作训练剩余的标记样本用于测试并计算混淆矩阵得出分类的总体精度（Overall accuracy，OA）和卡帕系数（Kappa coefficient，Kappa）。在具体实施例中，记录10次随机选取训练集的分类精度及标准差。
作为可选的实施方式，将训练样本集输入至基于编码器-解码器的全卷积网络，完成对医学高光谱图像的训练，包括：
通过主干块将训练样本集转换为固定数量通道输出；
通过第一混合块对训练样本集进行采样，得到若干第一特征值；对第一特征值进行一次一维卷积，得到第一一维卷积结果；对第一一维卷积结果进行一次二维卷积，得到第一二维卷积结果；
通过第二混合块对第一二维卷积结果进行采样，得到若干第二特征值；对第二特征值进行一次一维卷积，得到第二一维卷积结果；对第二一维卷积结果进行一次二维卷积，得到第二二维卷积结果；
通过第三混合块对第二二维卷积结果进行采样，得到若干第三特征值；对第三特征值进行一次一维卷积，得到第三一维卷积结果；对第三一维卷积结果进行一次二维卷积，得到第三二维卷积结果；
通过第四混合块对第三二维卷积结果进行一次一维卷积，得到第四一维卷积结果；对第四一维卷积结果进行一次二维卷积，得到第四二维卷积结果；
对第一二维卷积结果、第二二维卷积结果、第三二维卷积结果和第四二维卷积结果通过解码器网络进行聚合，以恢复输入的训练样本集的空间细节；
采用头子网络对通过解码器网络聚合得到的顶层特征进行像素分类，得到训练分类结果；
对训练分类结果计算损失函数；
根据损失函数，通过反向传播对基于编码器-解码器的全卷积网络进行权重更新。
其中，第一混合块、第二混合块、第三混合块和第四混合块通过卷积注意力模块进行卷积计算。
在本实施例中，编码器网络的基本模块是3×3卷积层，然后经组归一化（GroupNormalization，GN）和整流线性单元RELU激活而构成。由于MHSI的频带数不同，通过引入一个主干块，将输入的可变通道转换为固定的64个通道。接着引入四个混合块，前三个混合块均由光谱注意模块、基本模块和下采样模块组成，第四个混合块由光谱注意模块和基本模块组成。
光谱注意模块采用轻量级卷积注意力模块（CBAM），它结合了通道和空间的注意力机制模块，相比于SENet只关注通道的注意力机制可以取得更好的效果。
输入特征F∈RC*H*W，经通道注意力模块一维卷积，再通过空间注意力模块二维卷积/>，具体过程如下：
；
；
对于下采样模块，采用一个步长为2的3×3卷积层，再经RELU激活而构成，以便将投影空间位置与其接受场中心对齐，实现更可靠的MHSI分类。
如图2所示，对训练样本Y进行分类，得到分类结果Yi，对分类结果Yi计算损失函数，通过反向传播对基于编码器-解码器的全卷积网络进行权重更新。在具体实施例中，采用随机梯度下降法最小化得到训练分类结果的损失函数。
作为可选的实施方式，还包括：
通过基于横向连接的语义-空间融合的第一卷积层，将解码器网络的第一细化模块与第四混合块进行连接，用于将第四二维卷积结果传递至编码器网络；
通过基于横向连接的语义-空间融合的第二卷积层，将解码器网络的第二细化模块与第三混合块进行连接，用于将第三二维卷积结果传递至编码器网络；
通过基于横向连接的语义-空间融合的第三卷积层，将解码器网络的第三细化模块与第二混合块进行连接，用于将第二二维卷积结果传递至编码器网络；
通过基于横向连接的语义-空间融合的第四卷积层，将解码器网络的头子网络与第一混合块进行连接，用于将第一二维卷积结果传递至编码器网络。
在本实施例中，基于横向连接的语义-空间融合的卷积层为：
；
其中，qj为解码器中细化阶段#j的特征映射；p4-j为编码器中混合块#4-j的特征映射；qj+1是语义-空间融合的卷积层输出；j=1，2，3。
横向连接由1×1卷积层实现，该层将精确的特征位置从编码器传递到解码器。
在具体实施例中，如图2所示，混合块#4通过横向连接将第四二维卷积结果传递至解码器的细化模块#1，进行细节恢复；混合块#3通过横向连接将第三二维卷积结果传递至解码器，再同经过细节恢复的第四二维卷积结果输入至细化模块#2；混合块#2通过横向连接将第二二维卷积结果传递至解码器，再同细化模块#2输出的结果输入至细化模块#3；混合块#1通过横向连接将第一二维卷积结果传递至解码器，头子网络对第一二维卷积结果和细化模块#3输出结果进行特征分类。
作为可选的实施方式，对第一二维卷积结果、第二二维卷积结果、第三二维卷积结果和第四二维卷积结果通过解码器网络进行聚合，以恢复输入的训练样本集的空间细节，包括：
通过第一上采样模块将第一细化模块和第二细化模块进行连接，以聚合第四二维卷积结果和第三二维卷积结果；
通过第二上采样模块将第二细化模块和第三细化模块进行连接，以聚合第四二维卷积结果、第三二维卷积结果和第二二维卷积结果；
通过第三上采样模块将第三细化模块和头子网络进行连接，以聚合第四二维卷积结果、第三二维卷积结果、第二二维卷积结果和第一二维卷积结果。
在本实施例中，如图2所示，解码器网络同样采用模块化设计，由用于渐进式空间特征细化的细化模块和用于像素分类的头子网络组成。
在具体实施例中，渐进式细化包含两个步骤，首先对具有较强语义信息的输入特征映射进行采样，然后对具有较细空间信息的输入特征映射进行聚合，从而恢复输入的空间细节。解码器网络中的细化模块包含多个细化阶段，只需将上采样模块叠加，并在每个上采样模块后插入基于横向连接的SSF即可实现细化阶段。其中，上采样模块由一个3×3卷积层，经一个因子为2的最近邻上采样构成。头子网络由3×3卷积层和带有N个滤波器的1×1卷积层组成，N为类别数。用于对解码器顶层的特征进行像素分类。
作为可选的实施方式，根据损失函数，通过反向传播对基于编码器-解码器的全卷积网络进行权重更新，包括：
对于第i次迭代，基于编码器-解码器的全卷积网络的第k个权值更新为：
；
；
其中，p是Ri中的二维空间位置；n=|Ri|；η为学习速率；l为分类损失；为采样的高光谱图像真值图；/>为预测图；映射/>为无patch模型；C是输入X的频带数。
在本实施例中，映射将显式的patch替换为模型的隐式接受域，避免重叠区域的冗余计算，获得更广阔的潜在空间语境。
以图3为例，影像包含826个波段，去除127个噪声波段，保留699个波段。图像尺寸为443×479，空间分辨率为128.7μm真实标记图主要包含3种的组织类型和1类背景，不同类别标记像素个数如表1中所示。
表1 标记样本个数
如图5~8以及表2所示，相比于支持向量机（Support Vector Machines，SVM）、联合最近邻（Joint Nearest Neighbor，JNN）和联合稀疏表示（Joint Sparse Representation，JSR）算法，本发明实施例提供的方法能够获取更高的分类精度和稳定性。
表2 分类精度和运算时间
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (6)
1.一种基于快速全卷积网络的医学高光谱影像分类方法，其特征在于，包括：
对医学高光谱图像进行预处理并采样，得到训练样本集；
将所述训练样本集输入至基于编码器-解码器的全卷积网络，完成对所述医学高光谱图像的训练；
将所述医学高光谱图像中的待分类像素输入至训练后的所述基于编码器-解码器的全卷积网络，得到分类结果；
其中，将所述训练样本集输入至基于编码器-解码器的全卷积网络，完成对所述医学高光谱图像的训练，包括：
通过主干块将所述训练样本集转换为固定数量通道输出；
通过第一混合块对所述训练样本集进行采样，得到若干第一特征值；对所述第一特征值进行一次一维卷积，得到第一一维卷积结果；对所述第一一维卷积结果进行一次二维卷积，得到第一二维卷积结果；
通过第二混合块对所述第一二维卷积结果进行采样，得到若干第二特征值；对所述第二特征值进行一次一维卷积，得到第二一维卷积结果；对所述第二一维卷积结果进行一次二维卷积，得到第二二维卷积结果；
通过第三混合块对所述第二二维卷积结果进行采样，得到若干第三特征值；对所述第三特征值进行一次一维卷积，得到第三一维卷积结果；对所述第三一维卷积结果进行一次二维卷积，得到第三二维卷积结果；
通过第四混合块对所述第三二维卷积结果进行一次一维卷积，得到第四一维卷积结果；对所述第四一维卷积结果进行一次二维卷积，得到第四二维卷积结果；
对所述第一二维卷积结果、所述第二二维卷积结果、所述第三二维卷积结果和所述第四二维卷积结果通过解码器网络进行聚合，以恢复输入的所述训练样本集的空间细节；
采用头子网络对通过所述解码器网络聚合得到的顶层特征进行像素分类，得到训练分类结果；
对所述训练分类结果计算损失函数；
根据所述损失函数，通过反向传播对所述基于编码器-解码器的全卷积网络进行权重更新；
其中，所述第一混合块、所述第二混合块、所述第三混合块和所述第四混合块通过卷积注意力模块进行卷积计算；
通过基于横向连接的语义-空间融合的第一卷积层，将所述解码器网络的第一细化模块与所述第四混合块进行连接，用于将所述第四二维卷积结果传递至所述编码器网络；
通过基于横向连接的语义-空间融合的第二卷积层，将所述解码器网络的第二细化模块与所述第三混合块进行连接，用于将所述第三二维卷积结果传递至所述编码器网络；
通过基于横向连接的语义-空间融合的第三卷积层，将所述解码器网络的第三细化模块与所述第二混合块进行连接，用于将所述第二二维卷积结果传递至所述编码器网络；
通过基于横向连接的语义-空间融合的第四卷积层，将所述解码器网络的头子网络与所述第一混合块进行连接，用于将所述第一二维卷积结果传递至所述编码器网络；
所述头子网络由3×3卷积层和带有N个滤波器的1×1卷积层组成；其中，N为类别数；
根据所述损失函数，通过反向传播对所述基于编码器-解码器的全卷积网络进行权重更新，包括：
对于第i次迭代，所述基于编码器-解码器的全卷积网络的第k个权值更新为：
；
；
其中，p是Ri中的二维空间位置；n=|Ri|；η为学习速率；l为分类损失；为采样的高光谱图像真值图；/>为预测图；映射/>为无patch模型；C是输入X的频带数。
2.根据权利要求1所述的基于快速全卷积网络的医学高光谱影像分类方法，其特征在于，还包括：
对所述医学高光谱图像进行测试样本采样；
通过所述测试样本对所述分类结果进行分类精度评定。
3.根据权利要求1所述的基于快速全卷积网络的医学高光谱影像分类方法，其特征在于，对医学高光谱图像进行预处理并采样，得到训练样本集，包括：
通过二维奇异谱分析法对所述医学高光谱图像进行去噪处理。
4.根据权利要求1所述的基于快速全卷积网络的医学高光谱影像分类方法，其特征在于，对所述训练分类结果计算损失函数，包括：
采用随机梯度下降法最小化得到所述训练分类结果的损失函数。
5.根据权利要求1所述的基于快速全卷积网络的医学高光谱影像分类方法，其特征在于，对所述第一二维卷积结果、所述第二二维卷积结果、所述第三二维卷积结果和所述第四二维卷积结果通过解码器网络进行聚合，以恢复输入的所述训练样本集的空间细节，包括：
通过第一上采样模块将所述第一细化模块和所述第二细化模块进行连接，以聚合所述第四二维卷积结果和所述第三二维卷积结果；
通过第二上采样模块将所述第二细化模块和所述第三细化模块进行连接，以聚合所述第四二维卷积结果、所述第三二维卷积结果和所述第二二维卷积结果；
通过第三上采样模块将所述第三细化模块和所述头子网络进行连接，以聚合所述第四二维卷积结果、所述第三二维卷积结果、所述第二二维卷积结果和所述第一二维卷积结果。
6.根据权利要求1所述的基于快速全卷积网络的医学高光谱影像分类方法，其特征在于，基于横向连接的语义-空间融合的卷积层为：
；
其中，qj为解码器中细化阶段#j的特征映射；p4-j为编码器中混合块#4-j的特征映射；qj+1是语义-空间融合的卷积层输出；j=1，2，3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310871727.6A CN116612333B (zh) | 2023-07-17 | 2023-07-17 | 一种基于快速全卷积网络的医学高光谱影像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310871727.6A CN116612333B (zh) | 2023-07-17 | 2023-07-17 | 一种基于快速全卷积网络的医学高光谱影像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116612333A CN116612333A (zh) | 2023-08-18 |
| CN116612333B true CN116612333B (zh) | 2023-09-29 |
Family
ID=87685625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310871727.6A Active CN116612333B (zh) | 2023-07-17 | 2023-07-17 | 一种基于快速全卷积网络的医学高光谱影像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116612333B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
| CN113011499A (zh) * | 2021-03-22 | 2021-06-22 | 安徽大学 | 一种基于双注意力机制的高光谱遥感图像分类方法 |
| CN113239755A (zh) * | 2021-04-28 | 2021-08-10 | 湖南大学 | 一种基于空谱融合深度学习的医学高光谱图像分类方法 |
| CN113642445A (zh) * | 2021-08-06 | 2021-11-12 | 中国人民解放军战略支援部队信息工程大学 | 一种基于全卷积神经网络的高光谱影像分类方法 |
| CN113706482A (zh) * | 2021-08-16 | 2021-11-26 | 武汉大学 | 一种高分辨率遥感影像变化检测方法 |
| WO2022073452A1 (zh) * | 2020-10-07 | 2022-04-14 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
| CN114359723A (zh) * | 2021-12-27 | 2022-04-15 | 陕西科技大学 | 一种基于空谱特征融合网络的遥感影像变化检测方法 |
| CN115131674A (zh) * | 2022-06-24 | 2022-09-30 | 武汉大学 | 基于深度低秩网络的多时相光学遥感影像云检测方法 |
| WO2023000653A1 (zh) * | 2021-07-19 | 2023-01-26 | 湖南大学 | 一种图卷积神经网络高光谱医药成分分析的实现方法 |
| CN115908950A (zh) * | 2023-01-06 | 2023-04-04 | 山东大学 | 基于相似度正切映射的快速医学高光谱影像分类方法 |
-
2023
- 2023-07-17 CN CN202310871727.6A patent/CN116612333B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
| WO2022073452A1 (zh) * | 2020-10-07 | 2022-04-14 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
| CN113011499A (zh) * | 2021-03-22 | 2021-06-22 | 安徽大学 | 一种基于双注意力机制的高光谱遥感图像分类方法 |
| CN113239755A (zh) * | 2021-04-28 | 2021-08-10 | 湖南大学 | 一种基于空谱融合深度学习的医学高光谱图像分类方法 |
| WO2023000653A1 (zh) * | 2021-07-19 | 2023-01-26 | 湖南大学 | 一种图卷积神经网络高光谱医药成分分析的实现方法 |
| CN113642445A (zh) * | 2021-08-06 | 2021-11-12 | 中国人民解放军战略支援部队信息工程大学 | 一种基于全卷积神经网络的高光谱影像分类方法 |
| CN113706482A (zh) * | 2021-08-16 | 2021-11-26 | 武汉大学 | 一种高分辨率遥感影像变化检测方法 |
| CN114359723A (zh) * | 2021-12-27 | 2022-04-15 | 陕西科技大学 | 一种基于空谱特征融合网络的遥感影像变化检测方法 |
| CN115131674A (zh) * | 2022-06-24 | 2022-09-30 | 武汉大学 | 基于深度低秩网络的多时相光学遥感影像云检测方法 |
| CN115908950A (zh) * | 2023-01-06 | 2023-04-04 | 山东大学 | 基于相似度正切映射的快速医学高光谱影像分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于深度卷积神经网络的多元医学信号多级上下文自编码器;袁野;贾克斌;刘鹏宇;;电子与信息学报(第02期);全文 * |
| 石祥滨 ; 钟健 ; 刘翠微 ; 刘芳 ; 张德园 ; .小样本高光谱遥感图像深度学习方法.系统仿真学报.2018,(第07期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116612333A (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109670510B (zh) | 一种基于深度学习的胃镜活检病理数据筛查系统 | |
| CN110288597B (zh) | 基于注意力机制的无线胶囊内窥镜视频显著性检测方法 | |
| CN110647875B (zh) | 一种血细胞分割、识别模型构造的方法及血细胞识别方法 | |
| CN113516210B (zh) | 一种基于pet/ct的肺腺癌鳞癌诊断模型训练方法及装置 | |
| CN108319977B (zh) | 基于通道信息多模态网络的宫颈活检区域识别方法及装置 | |
| CN110731773B (zh) | 一种基于心电波形图全局与局部深度特征融合的异常心电图筛查方法 | |
| CN106709967A (zh) | 一种内窥成像算法及控制系统 | |
| CN109712150A (zh) | 基于稀疏表示的光学微波图像融合重建方法和装置 | |
| CN112381164A (zh) | 一种基于多分支注意力机制的超声图像分类方法和装置 | |
| CN110728666B (zh) | 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统 | |
| CN115909006B (zh) | 基于卷积Transformer的乳腺组织图像分类方法及系统 | |
| CN110189293A (zh) | 细胞图像处理方法、装置、存储介质及计算机设备 | |
| CN116612334B (zh) | 一种基于空谱联合注意力机制的医学高光谱图像分类方法 | |
| CN116580394A (zh) | 一种基于多尺度融合和可变形自注意力的白细胞检测方法 | |
| CN113327233B (zh) | 一种基于迁移学习的细胞图像检测方法 | |
| CN112200726B (zh) | 基于无透镜显微成像的尿沉渣有形成分检测方法及系统 | |
| CN116612333B (zh) | 一种基于快速全卷积网络的医学高光谱影像分类方法 | |
| CN116091940B (zh) | 一种基于高分辨率卫星遥感影像的作物分类和识别方法 | |
| CN115908950B (zh) | 基于相似度正切映射的快速医学高光谱影像分类方法 | |
| CN111554383A (zh) | 一种用于乳腺肿瘤检测的神经网络及其检测系统 | |
| CN115035339A (zh) | 一种基于人工智能的膀胱镜图像分类方法 | |
| CN118020113A (zh) | 用于无标记多重组织化学虚拟染色的系统和方法 | |
| CN115471512A (zh) | 一种基于自监督对比学习的医学影像分割方法 | |
| CN111640126B (zh) | 基于医学影像的人工智能诊断辅助方法 | |
| CN114360718A (zh) | 一种基于特征拟合的pet/ct自动肺癌诊断分类系统及构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |