CN117095208A - 一种面向光电吊舱侦察图像的轻量化场景分类方法 - Google Patents
一种面向光电吊舱侦察图像的轻量化场景分类方法 Download PDFInfo
- Publication number
- CN117095208A CN117095208A CN202311037571.8A CN202311037571A CN117095208A CN 117095208 A CN117095208 A CN 117095208A CN 202311037571 A CN202311037571 A CN 202311037571A CN 117095208 A CN117095208 A CN 117095208A
- Authority
- CN
- China
- Prior art keywords
- image
- feature map
- scene classification
- feature extraction
- lightweight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000000605 extraction Methods 0.000 claims abstract description 68
- 230000007246 mechanism Effects 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 13
- 230000009467 reduction Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000012847 principal component analysis method Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000005693 optoelectronics Effects 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面向光电吊舱侦察图像的轻量化场景分类方法，包括以下步骤：A、通过数据获取模块获取待场景分类的图像，对待场景分类的图像进行预处理，得到预处理后图像；B、通过特征提取器提取预处理后图像中的深层语义特征图；C、基于特征提取瓶颈块构建轻量化场景分类网络；所述特征提取瓶颈块通过轻量空间特征提取模块使用部分卷积方式来提取特征图中的空间特征；通过注意力机制模块捕捉特征图中空间和通道间的非线性信息，并将有效的特征信息输入到轻量空间特征提取模块中；D、将深层语义特征图输入到轻量化场景分类网络中进行分类，得到图像的分类结果。本发明具有能够有效提高运算效率的特点。
Description
技术领域
本发明涉及一种遥感图像处理领域，特别是一种面向光电吊舱侦察图像的轻量化场景分类方法。
背景技术
遥感技术的广泛应用使得大量的遥感图像数据被获取并广泛应用于军事侦察、资源勘探、环境监测和灾难评估等领域。然而，对于这些海量的遥感图像数据进行准确、高效的解译仍然是一个具有挑战性的问题。传统的遥感图像解译方法通常依赖于人工操作和基于规则的算法，这些方法的效率低下且容易受到主观因素的影响，限制了遥感数据的充分利用和应用。
卷积神经网络(CNN)由于其成功而被广泛地应用于遥感图像场景分类。然而，其大量的内部参数导致了高计算和内存要求，导致每秒浮点运算(FLOPS)效率低下，尤其是在频繁的内存访问和大量的运算器下。为了解决这个问题，亟需研发一种轻量化的场景分类方法来提高运算效率。
发明内容
本发明的目的在于，提供一种面向光电吊舱侦察图像的轻量化场景分类方法。本发明具有能够有效提高运算效率的特点。
本发明的技术方案：一种面向光电吊舱侦察图像的轻量化场景分类方法，包括以下步骤：
A、通过数据获取模块获取待场景分类的图像，对待场景分类的图像进行预处理，得到预处理后图像；
B、通过特征提取器提取预处理后图像中的深层语义特征图；
C、基于特征提取瓶颈块构建轻量化场景分类网络；
所述特征提取瓶颈块包括轻量空间特征提取模块和注意力机制模块；轻量空间特征提取模块使用部分卷积方式来提取特征图中的空间特征；注意力机制模块捕捉特征图中空间和通道间的非线性信息，并将有效的特征信息输入到轻量空间特征提取模块中；
D、将深层语义特征图输入到轻量化场景分类网络中进行分类，得到图像的分类结果。
前述的一种面向光电吊舱侦察图像的轻量化场景分类方法中，对待场景分类的图像进行预处理的具体过程为：确定待场景分类的图像数据的属性信息及尺寸信息，将待场景分类的图像转换成3通道图像，并对3通道图像进行裁剪；
其中，将待场景分类的图像转换成3通道图像的方法，包括基于PCA主成份分析法的图像扩充法以及基于自编码器的图像降噪法。
前述的一种面向光电吊舱侦察图像的轻量化场景分类方法中，轻量化场景分类网络的具体分类过程为：对深层语义特征图依次通过多个特征提取瓶颈块的特征提取操作，得到特征提取图；然后特征提取图依次经1×1卷积、全局平均池化处理和全连接层进行分类处理，得到图像的分类结果。
前述的一种面向光电吊舱侦察图像的轻量化场景分类方法中，特征提取瓶颈块的具体操作过程为：先通过轻量空间特征提取模块对输入的特征图进行空间特征的提取，得到具有深层空间语义信息的特征图；然后通过注意力机制模块捕捉具有深层空间语义信息的特征图中通道间的非线性信息，得到通道特征图，并输入到轻量空间特征提取模块中；轻量空间特征提取模块从通道特征图中提取得到高层次语义特征图；最后将高层次语义特征图与初始输入的深层语义特征图加和。
前述的一种面向光电吊舱侦察图像的轻量化场景分类方法中，轻量空间特征提取模块的提取过程：
对深层语义特征图进行归一化处理后得到图像数据Fm，图像数据Fm输入到轻量空间特征提取模块中，轻量空间特征提取模块使用部分卷积方式对1/4输入通道进行常规卷积以提取空间特征，对其余通道不作处理，得到具有深层空间语义信息的特征图F。
前述的一种面向光电吊舱侦察图像的轻量化场景分类方法中，对具有深层空间语义信息的特征图F经注意力机制模块以提取通道和空间维度的信息，实施过程如下：
首先使用全局平均池化和全局最大池化操作对具有深层空间语义信息的特征图F的空间信息进行聚合，生成两个不同的空间上下文描述符和/>分别表示全局平均池化和全局最大池化；将/>和/>通过2×1卷积组合，并通过多层感知器学习，得到最终的频道注意图F1；
频道注意图F1的计算表示为：
式中，W0和W1为多层感知器的权值，W0∈R(C/r)×C，W1∈RC，C/r为隐藏层的大小，其中，C为压缩前的通道数，R表示实数空间，r为压缩率；f2×1表示卷积层滤波器的尺寸为2×1；
随后，在组合卷积后，使用3×3卷积进行信道降维，然后再使用双线性插值方法以完成上采样，得到采样特征图F2，F2的计算公式为：
F2＝fbilinear(f3([f1(F)；f2(F)])，式中，fbilinear为双线性插值；f1、f2和f3表示卷积核大小为3×3的深度卷积，其中f1和f2的步长均为2；F表示同时需要输入至深度卷积层f1和f2的特征图；
最后，返回激活函数σ(F1×F2)，得到有效的通道特征图，σ(.)表示Sigomoid激活函数。
前述的一种面向光电吊舱侦察图像的轻量化场景分类方法中，步骤C中，还需对基于特征提取瓶颈块构建的轻量化场景分类网络进行训练，训练具体过程为：
C1、将预处理后图像中20％-50％的数据作为训练集；
C2、对训练集中的图像数据进行归一化处理，得到归一化后图像数据；
C3、提取归一化后图像数据中的深层语义特征图，并输入到轻量化场景分类网络中，得到训练集中的图像深层语义信息；
C4、然后利用轻量化场景分类网络对训练集中的图像深层语义信息进行分类，得到分类后的类别；根据分类结果，求出损失函数的值，通过反向传播更新轻量化场景分类网络的参数，从而完成对轻量化场景分类网络的训练。
与现有技术相比，本发明基于特征提取瓶颈块构建轻量化场景分类网络，使用轻量空间特征提取模块(轻量级的卷积层)和一个注意力机制模块，以加强网络中空间和通道信息的提取，在保持可靠的解译结果的同时大大降低了计算成本，减少对计算能力和内存的需求，降低能源消耗，能在GPU甚至CPU上进行快速处理，有效提高运算效率，使其成为嵌入式系统的一个有前途的选择。综上所述，本发明具有能够有效提高运算效率的特点。
经测试，与先进的方法相比参数量减少了18.56％，运算量减少了25.02％。在GPU和CPU上的推理时间低于大部分的放的方法，延迟分别减少了12.5％、15.90％。
附图说明
图1是本发明实施例提供的一种轻量级的场景分类方法的一种流程示意图；
图2为本发明实施例提供的一种轻量级的场景分类方法的一种流程示意图；
图3为本发明实施例提供的一种轻量级的场景分类方法的一种结构示意图；
图4为本发明实施例提供的场景分类方法中的瓶颈块的一种结构示意图；
图5为本发明实施例提供的场景分类方法中瓶颈块的空间特征提取模块的一种结构示意图；
图6为本发明实施例提供的场景分类方法中瓶颈块的注意力模块的一种结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
实施例。一种面向光电吊舱侦察图像的轻量化场景分类方法，如图1所示，包括以下步骤：
A、首先通过数据获取模块获取待场景分类的图像，对待场景分类的图像进行预处理，得到预处理后图像；
B、通过特征提取器提取预处理后图像中的深层语义特征图；
C、基于特征提取瓶颈块构建轻量化场景分类网络(轻量化场景分类网络包括特征提取网络和分类器，特征提取网络由多个依次相连的特征提取瓶颈块构成，如图3所示)；
特征提取网络：
功能：图2所示的特征提取网络是负责从输入数据中提取有用的特征表示的部分。它通过一系列的卷积、池化和非线性激活等操作，将原始输入数据转化为高级的、抽象的特征表示。这些特征表示捕捉到输入数据中的关键模式和结构，能够在后续的任务中提供更具信息量和判别性的特征输入。
分类器的功能是用于对提取的特征进行分类或预测的部分。它接收特征提取网络提取的特征表示作为输入，并根据任务的要求，通过一系列的全连接层和激活函数等操作，将输入映射到特定的类别或输出空间。分类器的作用是对特征进行决策，将输入样本分配到不同的类别或进行连续数值的预测。分类器的架构通常由全连接层和激活函数组成。
图4展示了特征提取瓶颈块，所述特征提取瓶颈块包括轻量空间特征提取模块和注意力机制模块；轻量空间特征提取模块使用部分卷积方式来提取特征图中的空间特征；注意力机制模块捕捉特征图中空间和通道间的非线性信息，并将有效的特征信息输入到轻量空间特征提取模块中；
D、将深层语义特征图输入到轻量化场景分类网络中进行分类，轻量化场景分类网络根据来自图像中提取的特征，使用最常用的softmax分类器得到该图像所属的最终类别，得到图像的分类结果。
对待场景分类的图像进行预处理的具体过程为：确定待场景分类的图像数据的属性信息及尺寸信息，将待场景分类的图像转换成3通道图像，并对3通道图像进行裁剪；
其中，将待场景分类的图像转换成3通道图像的方法，包括基于PCA主成份分析法的图像扩充法以及基于自编码器的图像降噪法。
图像扩充方法：PCA主成分分析法包括以下过程：
数据预处理：对于要进行图像扩充的数据集，首先需要进行预处理。这包括对图像进行归一化处理，确保所有图像具有相同的尺寸和色彩空间。
数据降维：使用PCA技术对图像数据进行降维。首先，将每个图像转换为向量形式，其中每个元素表示图像中的一个像素。然后，通过计算协方差矩阵和特征值分解，确定数据集中的主要成分(特征向量)。选择最重要的前N个主成分，这些主成分对应于最大的特征值。
特征重建：利用选定的前N个主成分，对原始图像进行特征重建。将每个图像向量与主成分相乘，并加上平均图像向量，得到重建后的图像向量。最后，将重建的图像向量重新转换为图像的像素表示形式。
图像生成：在重建的图像基础上，可以通过调整主成分的权重来生成新的图像。通过改变每个主成分的贡献程度，可以在保留原始图像特征的同时，生成具有不同风格和变化的新图像。
扩充效果评估：对生成的图像进行评估和验证。可以使用定性和定量的指标，如视觉感知度、结构相似性指数(SSIM)、峰值信噪比(PSNR)等，来评估图像扩充效果的质量和保真度。
通过使用PCA主成分分析法，可以通过学习和提取原始图像数据的主要特征，生成具有多样性和可控变化的新图像。这种方法在图像扩充、数据增强和样本生成等任务中具有广泛的应用，并且可以为其他图像处理和机器学习任务提供有用的数据增强手段。
基于自编码器的图像降噪法是一种常见的图像去噪技术。以下是该方法的简要描述：
数据准备：收集或准备一个包含噪声图像和对应的原始无噪声图像的训练数据集。
自编码器网络的设计：自编码器是一种神经网络结构，由编码器和解码器两部分组成。编码器将输入的噪声图像压缩为低维表示，解码器将这个低维表示重建为尽可能接近原始无噪声图像的输出。
训练过程：使用训练数据集对自编码器进行训练。训练过程中，输入噪声图像作为编码器的输入，解码器的输出与原始无噪声图像进行比较，并通过反向传播算法来调整自编码器的参数，使得解码器能够更好地还原原始图像。
图像降噪：在训练完成后，使用已经训练好的自编码器来对新的噪声图像进行降噪。将噪声图像输入编码器，然后利用解码器重建图像，得到降噪后的图像作为输出。
评估和调优：使用评价指标(如均方误差、结构相似性指数等)来评估降噪效果。根据评估结果对自编码器的参数进行调优，以提高降噪的质量和保真度。
基于自编码器的图像降噪法的关键是训练过程，通过学习噪声图像与原始无噪声图像之间的映射关系，自编码器能够学习到图像中的主要特征，并用于还原和降低噪声。这种方法在图像处理领域广泛应用，能够有效降低图像中的噪声，并改善图像的质量和细节。
轻量化场景分类网络的具体分类过程为：对深层语义特征图依次通过多个特征提取瓶颈块的特征提取操作，得到特征提取图；然后特征提取图依次进行1×1卷积、全局平均池化处理、全连接层进行进行分类得到图像的分类结果。
特征提取瓶颈块的具体操作过程为：先通过轻量空间特征提取模块对输入的特征图进行空间特征的提取，得到具有深层空间语义信息的特征图；然后通过注意力机制模块捕捉具有深层空间语义信息的特征图中通道间的非线性信息，得到通道特征图，并输入到轻量空间特征提取模块中，轻量空间特征提取模块从通道特征图中提取得到高层次语义特征图；最后将高层次语义特征图与初始输入的深层语义特征图加和。
轻量空间特征提取模块的提取过程：
对深层语义特征图进行归一化处理后得到图像数据Fm，图像数据Fm输入到轻量空间特征提取模块中，轻量空间特征提取模块使用部分卷积方式对部分输入通道进行常规卷积以提取空间特征，对其余通道不作处理，得到具有深层空间语义信息的特征图F；
部分卷积是对部分输入通道进行常规卷积，以提取空间特征，其余通道保持不变，图5展示了部分卷积的结构。为了方便顺序或常规的内存访问，将第一个或最后一个连续的四分之一通道作为完整特征映射的代理进行计算(将第一个或最后一个连续的Cp通道作为完整特征图的替代进行计算，此时网络的浮点运算数为：其中h和w对应于特征图的高度和宽度，k表示卷积核的大小，cp表示在实现部分卷积时选择的通道数。
设定部分卷积的比率r为1/4，r＝cp/c，其中cp代表部分卷积选择的通道数，c表示传统卷积的通道数，内存访问量为：由于输入和输出特征映射的通道数量相似，该假设在不损失一般性的情况下做出。通过使用1/4这一比例，PConv的FLOPs减少到常规卷积的1/16。此外，PConv需要更少的内存访问。如果简单地去除剩余的3/4通道，PConv将只从1/4的通道中提取空间特征，剩余的通道将导致较少通道的规则卷积。应该注意的是，我们并没有从特征映射中消除它们，而是保留它们，因为它们对后续Conv1×1层很有用。这种方法使特性信息能够通过所有通道传播，使设计简单而没有多余的重量，并使整个体系结构硬件友好。
部分通道具体指的是选择四分之一的通道。即当部分卷积的比率r＝1/4时，存储器访问量仅为传统卷积的1/4，PConv将只对cp通道中提取空间特征，将剩余的通道(c-cp)保留。
对具有深层空间语义信息的特征图F经注意力机制模块以提取通道和空间维度的信息，注意力模块如图6所示，其实施过程如下：
首先使用全局平均池化和全局最大池化操作对具有深层空间语义信息的特征图F的空间信息进行聚合，生成两个不同的空间上下文描述符和/>分别表示全局平均池化和全局最大池化；将/>和/>通过2×1卷积组合，并通过多层感知器学习，得到最终的频道注意图F1；
频道注意图F1的计算表示为：
式中，W0∈R(C/r)×C，W1∈RC，W0和W1为多层感知器的权值，f2×1表示卷积层滤波器的尺寸为2×1；C/r为隐藏层的大小，其中r为压缩率；
随后，在组合卷积后，使用3×3卷积进行信道降维；然后再使用双线性插值方法以完成上采样，得到采样特征图F2，公式表示为：
F2＝fbilinear(f3([f1(F)；f2(F)])，
式中，fbilinear为双线性插值；f1、f2和f3表示卷积核大小为3×3的深度卷积，其中f1和f2的步长均为2；F表示同时需要输入至深度卷积层f1和f2的特征图；
最后，返回激活函数σ(F1×F2)，目的是可以减少过拟合风险。从而得到有效的通道特征图，σ(.)表示Sigomoid激活函数。
步骤C中，还需对基于特征提取瓶颈块构建的轻量化场景分类网络进行训练，训练具体过程为：
C1、将预处理后图像中的一部分数据(一般为总数据的20-50％)作为训练集；
C2、对训练集中的图像数据进行归一化处理，得到归一化后图像数据；
C3、提取归一化后图像数据中的深层语义特征图，并输入到轻量化场景分类网络中，得到训练集中的图像深层语义信息；
C4、然后利用轻量化场景分类网络对训练集中的图像深层语义信息进行分类，得到分类后的类别；根据分类结果，求出损失函数的值，通过反向传播更新轻量化场景分类网络的参数，从而完成对轻量化场景分类网络的训练。
求解损失函数的一般过程：
步骤1.定义问题和目标：首先，需要明确所解决的问题和任务类型，例如分类、回归等。然后，确定优化的目标，如最小化预测误差或最大化预测概率。
步骤2.选择合适的损失函数：根据问题的特点和目标的定义，选择适合的损失函数。常见的损失函数包括均方误差(Mean Squared Error，MSE)、交叉熵损失(Cross-Entropy Loss)、对数损失(Log Loss)等。
步骤3.计算预测值：使用训练数据和当前模型的参数，对输入进行预测，得到模型的输出结果。
步骤4.计算损失：将模型的预测结果与实际标签进行比较，并根据选择的损失函数计算预测结果与实际标签之间的差异或误差。例如，对于分类任务，可以使用交叉熵损失函数计算预测结果和标签之间的差异。
步骤5.求解最小化损失：根据选择的优化算法(如梯度下降法)，通过迭代更新模型的参数，使损失函数逐步减小。这涉及计算损失函数关于模型参数的梯度，并根据梯度的方向更新参数值。
重复步骤3至步骤5，直到达到停止条件或收敛，即损失函数达到最小值或无法继续显著改进。
反向传播具体传播的是梯度信息。
反向传播算法通过传播梯度信息，让网络中的每个参数根据其对损失的贡献程度进行调整。这样，网络可以逐渐优化，使得预测结果更接近真实标签。
总结起来，反向传播是一种通过计算损失函数相对于网络参数的梯度，并将梯度从输出层向输入层传播的过程。具体传播的是梯度信息，用于更新参数以优化神经网络的性能。
反向传播(Backpropagation)是一种用于训练神经网络的算法，通过计算损失函数相对于模型参数的梯度，从输出层向输入层传播梯度信息，以更新网络参数。
在神经网络的前向传播过程中，输入数据经过一系列的线性变换(加权求和)和非线性激活函数的处理，最终得到网络的输出。反向传播的目标是根据输出与标签之间的差异，计算损失函数对于网络参数的梯度，以便调整参数以减小损失函数的值。
Claims (7)
1.一种面向光电吊舱侦察图像的轻量化场景分类方法，其特征在于，包括以下步骤：
A、通过数据获取模块获取待场景分类的图像，对待场景分类的图像进行预处理，得到预处理后图像；
B、通过特征提取器提取预处理后图像中的深层语义特征图；
C、基于特征提取瓶颈块构建轻量化场景分类网络；
所述特征提取瓶颈块包括轻量空间特征提取模块和注意力机制模块；轻量空间特征提取模块使用部分卷积方式来提取特征图中的空间特征；注意力机制模块捕捉特征图中空间和通道间的非线性信息，并将有效的特征信息输入到轻量空间特征提取模块中；
D、将深层语义特征图输入到轻量化场景分类网络中进行分类，得到图像的分类结果。
2.根据权利要求1所述的一种面向光电吊舱侦察图像的轻量化场景分类方法，其特征在于，对待场景分类的图像进行预处理的具体过程为：确定待场景分类的图像数据的属性信息及尺寸信息，将待场景分类的图像转换成3通道图像，并对3通道图像进行裁剪；
其中，将待场景分类的图像转换成3通道图像的方法，包括基于PCA主成份分析法的图像扩充法以及基于自编码器的图像降噪法。
3.根据权利要求1所述的一种面向光电吊舱侦察图像的轻量化场景分类方法，其特征在于，轻量化场景分类网络的具体分类过程为：对深层语义特征图依次通过多个特征提取瓶颈块的特征提取操作，得到特征提取图；然后特征提取图依次经1×1卷积、全局平均池化处理和全连接层进行分类处理，得到图像的分类结果。
4.根据权利要求1所述的一种面向光电吊舱侦察图像的轻量化场景分类方法，其特征在于，特征提取瓶颈块的具体操作过程为：先通过轻量空间特征提取模块对输入的特征图进行空间特征的提取，得到具有深层空间语义信息的特征图；然后通过注意力机制模块捕捉具有深层空间语义信息的特征图中通道间的非线性信息，得到通道特征图，并输入到轻量空间特征提取模块中；轻量空间特征提取模块从通道特征图中提取得到高层次语义特征图；最后将高层次语义特征图与初始输入的深层语义特征图加和。
5.根据权利要求4所述的一种面向光电吊舱侦察图像的轻量化场景分类方法，其特征在于，轻量空间特征提取模块的提取过程：
对深层语义特征图进行归一化处理后得到图像数据Fm，图像数据Fm输入到轻量空间特征提取模块中，轻量空间特征提取模块使用部分卷积方式对1/4输入通道进行常规卷积以提取空间特征，对其余通道不作处理，得到具有深层空间语义信息的特征图F。
6.根据权利要求5所述的一种面向光电吊舱侦察图像的轻量化场景分类方法，其特征在于，对具有深层空间语义信息的特征图F经注意力机制模块以提取通道和空间维度的信息，实施过程如下：
首先使用全局平均池化和全局最大池化操作对具有深层空间语义信息的特征图F的空间信息进行聚合，生成两个不同的空间上下文描述符和/>分别表示全局平均池化和全局最大池化；将/>和/>通过2×1卷积组合，并通过多层感知器学习，得到最终的频道注意图F1；
频道注意图F1的计算表示为：
式中，W0和W1为多层感知器的权值，W0∈R(C/r)×C，W1∈RC，C/r为隐藏层的大小，其中，C为压缩前的通道数，R表示实数空间，r为压缩率；f2×1表示卷积层滤波器的尺寸为2×1；
随后，在组合卷积后，使用3×3卷积进行信道降维，然后再使用双线性插值方法以完成上采样，得到采样特征图F2，F2的计算公式为：
F2＝fbilinear(f3([f1(F)；f2(F)])，
式中，fbilinear为双线性插值；f1、f2和f3表示卷积核大小为3×3的深度卷积，其中f1和f2的步长均为2；F表示同时需要输入至深度卷积层f1和f2的特征图；
最后，返回激活函数σ(F1×F2)，得到有效的通道特征图，σ(.)表示Sigomoid激活函数。
7.根据权利要求1所述的一种面向光电吊舱侦察图像的轻量化场景分类方法，其特征在于，步骤C中，还需对基于特征提取瓶颈块构建的轻量化场景分类网络进行训练，训练具体过程为：
C1、将预处理后图像中20％-50％的数据作为训练集；
C2、对训练集中的图像数据进行归一化处理，得到归一化后图像数据；
C3、提取归一化后图像数据中的深层语义特征图，并输入到轻量化场景分类网络中，得到训练集中的图像深层语义信息；
C4、然后利用轻量化场景分类网络对训练集中的图像深层语义信息进行分类，得到分类后的类别；根据分类结果，求出损失函数的值，通过反向传播更新轻量化场景分类网络的参数，从而完成对轻量化场景分类网络的训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311037571.8A CN117095208B (zh) | 2023-08-17 | 2023-08-17 | 一种面向光电吊舱侦察图像的轻量化场景分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311037571.8A CN117095208B (zh) | 2023-08-17 | 2023-08-17 | 一种面向光电吊舱侦察图像的轻量化场景分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117095208A true CN117095208A (zh) | 2023-11-21 |
| CN117095208B CN117095208B (zh) | 2024-02-27 |
Family
ID=88780962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311037571.8A Active CN117095208B (zh) | 2023-08-17 | 2023-08-17 | 一种面向光电吊舱侦察图像的轻量化场景分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117095208B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808146A (zh) * | 2021-10-18 | 2021-12-17 | 山东大学 | 一种医学图像多器官分割方法及系统 |
| CN114267025A (zh) * | 2021-12-07 | 2022-04-01 | 天津大学 | 基于高分辨率网络与轻量注意力机制的交通标志检测方法 |
| CN114299559A (zh) * | 2021-12-27 | 2022-04-08 | 杭州电子科技大学 | 基于轻量级融合全局与局部特征网络的指静脉识别方法 |
| CN114565860A (zh) * | 2022-03-01 | 2022-05-31 | 安徽大学 | 一种多维度增强学习合成孔径雷达图像目标检测方法 |
| WO2022213395A1 (zh) * | 2021-04-06 | 2022-10-13 | 中国科学院深圳先进技术研究院 | 轻量化的目标检测方法、设备、存储介质 |
| CN115546654A (zh) * | 2021-12-14 | 2022-12-30 | 齐齐哈尔大学 | 基于分组混合注意力的遥感场景图像分类方法 |
| CN116580192A (zh) * | 2023-04-18 | 2023-08-11 | 湖北工业大学 | 基于自适应上下文感知网络的rgb-d语义分割方法及系统 |
-
2023
- 2023-08-17 CN CN202311037571.8A patent/CN117095208B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022213395A1 (zh) * | 2021-04-06 | 2022-10-13 | 中国科学院深圳先进技术研究院 | 轻量化的目标检测方法、设备、存储介质 |
| CN113808146A (zh) * | 2021-10-18 | 2021-12-17 | 山东大学 | 一种医学图像多器官分割方法及系统 |
| CN114267025A (zh) * | 2021-12-07 | 2022-04-01 | 天津大学 | 基于高分辨率网络与轻量注意力机制的交通标志检测方法 |
| CN115546654A (zh) * | 2021-12-14 | 2022-12-30 | 齐齐哈尔大学 | 基于分组混合注意力的遥感场景图像分类方法 |
| CN114299559A (zh) * | 2021-12-27 | 2022-04-08 | 杭州电子科技大学 | 基于轻量级融合全局与局部特征网络的指静脉识别方法 |
| CN114565860A (zh) * | 2022-03-01 | 2022-05-31 | 安徽大学 | 一种多维度增强学习合成孔径雷达图像目标检测方法 |
| CN116580192A (zh) * | 2023-04-18 | 2023-08-11 | 湖北工业大学 | 基于自适应上下文感知网络的rgb-d语义分割方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117095208B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107316013B (zh) | 基于nsct变换和dcnn的高光谱图像分类方法 | |
| CN110232341B (zh) | 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法 | |
| CN107563433B (zh) | 一种基于卷积神经网络的红外小目标检测方法 | |
| CN108734199B (zh) | 基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法 | |
| CN113392931B (zh) | 基于自监督学习及多任务学习的高光谱开放集分类方法 | |
| Chen et al. | Image‐denoising algorithm based on improved K‐singular value decomposition and atom optimization | |
| CN111476272B (zh) | 一种基于结构约束对称低秩保留投影的降维方法 | |
| CN113222836A (zh) | 一种高光谱与多光谱遥感信息融合方法及系统 | |
| CN111160392A (zh) | 一种基于小波宽度学习系统的高光谱分类方法 | |
| CN111696043A (zh) | 一种三维fsrcnn的高光谱图像超分辨率重建算法 | |
| CN108596044B (zh) | 基于深度卷积神经网络的行人检测方法 | |
| CN108830829B (zh) | 联合多种边缘检测算子的无参考质量评价算法 | |
| CN115564996A (zh) | 一种基于注意力联合网络的高光谱遥感图像分类方法 | |
| CN115984110A (zh) | 一种基于Swin-Transformer的二阶光谱注意力高光谱图像超分辨率方法 | |
| Morzelona | Human visual system quality assessment in the images using the IQA model integrated with automated machine learning model | |
| CN115393690A (zh) | 一种轻量化神经网络的空对地观测多目标识别方法 | |
| Zhou et al. | MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution | |
| CN107944497A (zh) | 基于主成分分析的图像块相似性度量方法 | |
| CN113920210A (zh) | 基于自适应图学习主成分分析方法的图像低秩重构方法 | |
| CN117392065A (zh) | 一种云边协同太阳能板覆灰状况自主评估方法 | |
| Yuan et al. | Locally and multiply distorted image quality assessment via multi-stage CNNs | |
| CN117095208B (zh) | 一种面向光电吊舱侦察图像的轻量化场景分类方法 | |
| CN117115675A (zh) | 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质 | |
| CN116137043A (zh) | 一种基于卷积和Transformer的红外图像彩色化方法 | |
| CN116343032A (zh) | 结合高斯回归混合模型和mrf高光谱函数数据的分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |