CN116721301B - 目标场景分类模型训练方法、分类方法、设备及存储介质 - Google Patents

目标场景分类模型训练方法、分类方法、设备及存储介质 Download PDF

Info

Publication number
CN116721301B
CN116721301B CN202310999943.9A CN202310999943A CN116721301B CN 116721301 B CN116721301 B CN 116721301B CN 202310999943 A CN202310999943 A CN 202310999943A CN 116721301 B CN116721301 B CN 116721301B
Authority
CN
China
Prior art keywords
remote sensing
edge
features
sensing image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310999943.9A
Other languages
English (en)
Other versions
CN116721301A (zh
Inventor
李显巨
孔攀
陈伟涛
唐厂
冯如意
王力哲
陈刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202310999943.9A priority Critical patent/CN116721301B/zh
Publication of CN116721301A publication Critical patent/CN116721301A/zh
Application granted granted Critical
Publication of CN116721301B publication Critical patent/CN116721301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体而言，涉及一种目标场景分类模型训练方法、分类方法、设备及存储介质。一种目标场景分类模型训练方法，包括：对遥感图像信息进行特征提取并生成融合特征；对融合特征和遥感图像信息分别提取边缘信息，并将提取的边缘信息进行融合得到增强边缘特征；将增强边缘特征和融合特征进行融合，得到边缘融合特征；将边缘融合特征进行通道特征加强，得到加强边缘融合特征；将加强边缘融合特征和对应的标签特征进行融合，得到遥感图像综合特征；将遥感图像综合特征特征输入分类器进行训练，得到目标场景分类模型。本发明的技术方案提高了目标场景分类模型对矿山目标场景的分类精度。

Description

目标场景分类模型训练方法、分类方法、设备及存储介质
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种目标场景分类模型训练方法、分类方法、设备及存储介质。
背景技术
由于遥感技术具有探测范围大、受地面条件限制少等优越性，越来越多地被应用在矿山场景的数据采集中，可以通过光学影像、雷达影像和数字高程数据等方式获取大量的矿山场景遥感图像。但是，与此同时，为了进一步挖掘遥感图像中的场景信息，需要对获取的遥感图像进行场景分类，因此大量的图像处理工作也带来了着巨大的挑战。
近年来随着深度学习的飞速发展，其在场景分类领域也同样取得了巨大的成就，许多分类模型如深度残差网络（Deep residual network，ResNet）模型、稠密卷积网络（Dense Convolutional Network，DenseNet）模型等都在场景分类上取得了极大的成功。但由于矿山的遥感图像背景复杂，遥感图像的拍摄角度、地形坡度、光照反射等因素的影响，以及多尺寸物体、不规则或模糊边缘等特征，大大增加了对遥感图像中矿山场景的辨别难度，因此模型对矿山场景分类的并不准确，分类结果与实际偏差较大。
发明内容
本发明解决的问题如何提高模型对例如矿山等遥感场景的分类精度。
为解决上述问题，本发明提供一种目标场景分类模型训练方法、分类方法、设备及存储介质。
第一方面，本发明提供了一种目标场景分类模型训练方法，包括：
获取目标场景数据集，所述数据集包括多张带有标签的遥感图像信息；
对所述遥感图像信息进行特征提取并生成融合特征；
对所述融合特征和所述遥感图像信息分别提取边缘信息，并将提取的所述边缘信息进行融合得到增强边缘特征；
将所述增强边缘特征和所述融合特征进行融合，得到边缘融合特征；
将所述边缘融合特征进行通道特征加强，得到加强边缘融合特征；
根据所述目标场景数据集中的全部所述标签和预设的标签共现关系确定每张所述遥感图像信息的标签特征；
将所述加强边缘融合特征和对应的所述标签特征进行融合，得到遥感图像综合特征；
将所述遥感图像综合特征输入分类器进行训练，得到目标场景分类模型。
可选地，所述对所述遥感图像信息进行特征提取并生成融合特征，包括：
对所述遥感图像信息进行多尺度特征提取并生成深层特征，对所述遥感图像信息进行浅层特征提取并生成浅层特征；
将所述深层特征和所述浅层特征进行融合，得到所述融合特征。
可选地，所述对所述遥感图像信息进行多尺度特征提取并生成深层特征，包括：
获取多个预设卷积核；
根据每个所述预设卷积核对所述遥感图像信息进行特征提取，得到对应的尺度特征；
将所述尺度特征进行融合，得到所述深层特征。
可选地，所述将所述尺度特征进行融合，得到所述深层特征，包括：
将全部所述尺度特征进行重采样，得到大小相等的所述尺度特征；
将大小相等的所述尺度特征进行融合，得到所述深层特征。
可选地，所述对所述融合特征和所述遥感图像信息分别提取边缘信息，并将提取的所述边缘信息进行融合得到增强边缘特征，包括：
通过边缘检测算子对所述融合特征进行边缘信息提取，生成融合特征边缘信息；
通过所述边缘检测算子对所述遥感图像信息进行边缘信息提取，生成遥感图像边缘信息；
将所述融合特征边缘信息和所述遥感图像边缘信息进行融合，得到增强边缘特征。
可选地，所述将所述融合特征边缘信息和所述遥感图像边缘信息进行融合，得到增强边缘特征，包括：
将所述遥感图像边缘信息进行重采样，生成重塑边缘信息；
将所述重塑边缘信息和所述融合特征边缘信息融合，生成增强边缘特征。
可选地，所述根据所述目标场景数据集中的全部所述标签和预设的标签共现关系确定每张所述遥感图像信息的标签特征，包括：
根据所述标签和预设的标签嵌入算法生成标签向量；
根据所述标签和预设的所述标签共现关系生成标签共现矩阵；
将所述标签向量和所述标签共现矩阵输入预设的图卷积网络，输出所述标签特征。
第二方面，本发明提供了一种目标场景分类方法，包括：
获取待处理的遥感图像信息；
将所述待处理的遥感图像输入训练好的所述目标场景分类模型，输出所述待处理的遥感图像信息中目标场景的分类结果；其中，所述训练好的目标场景分类模型采用如第一方面所述的目标场景分类模型训练方法训练得到。
第三方面，本发明提供了一种电子设备，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如第一方面所述的目标场景分类模型训练方法。
第四方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如第一方面所述的目标场景分类模型训练方法。
本发明的目标场景分类模型训练方法、分类方法、设备及存储介质的有益效果是：通过对目标场景数据集中的遥感图像信息进行特征提取，将提取到的特征进行融合生成融合特征，可以得到该遥感图像信息更丰富的特征信息，有助于提高目标场景模型对遥感图像信息中的不同场景的分类精度，进一步地，提取融合特征和遥感图像信息的边缘信息，将提取到的边缘信息进行融实现对遥感图像中边缘信息的增强，从而得到增强边缘特征，将融合特征和边缘增强特征进行融合，得到边缘融合特征，该特征同时融合了遥感图像信息的多个特征信息和边缘信息，通过边缘融合特征进行通道加强，得到加强边缘融合特征，使经过通道方向加强的加强边缘融合特征具有通道权重信息，再将具有标签之间相关性的标签特征与加强边缘融合特征进行融合，得到遥感图像综合特征，使得到的遥感图像综合特征具有标签之间的相关性，将融合了多个信息的遥感图像综合特征输入分类器进行模型训练，最终得到目标场景分类模型。该模型通过融合了边缘特征、遥感图像特征和标签特征等矿山场景的相关信息的遥感图像综合特征进行训练得到，使得该模型可以更准确的对矿山的目标场景进行分类，通过边缘信息融入增强了模型对于场景的模糊边缘的辨别能力，通过标签特征融入避免了小目标特征的信息丢失，进一步提高了模型对例如矿山等场景的分类精度。
附图说明
图1为本发明实施例的一种目标场景分类模型训练方法的流程示意图；
图2为本发明实施例的通道特征增强示意图；
图3为本发明实施例的标签信息注入示意图；
图4为本发明实施例的多尺度特征提取示意图；
图5为本发明实施例的边缘信息增强示意图；
图6为本发明实施例的模型训练框架图；
图7为本发明实施例的一种目标场景分类方法的流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。
应当理解，本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”；术语“可选地”表示“可选的实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
如图1所示，为解决上述技术问题，本发明提供了一种目标场景分类模型训练方法，包括：
步骤S110，获取目标场景数据集，所述数据集包括多张带有标签的遥感图像信息。
具体地，将采集到的矿山场景的遥感图像信息进行标注标签，并将带有标签的遥感图像信息建立目标场景数据集，该数据集用于进行模型训练。
步骤S120，对所述遥感图像信息进行特征提取并生成融合特征。
具体地，通过设置多个不同的卷积核对遥感图像信息进行特征提取，将提取到的多个特征，再通过特征融合模块将提取到的多个特征进行融合，得到融合特征，不同的特征可以捕捉遥感图像中的不同信息，同时，当某个特征失效时，其他特征可以弥补其不足，进而可以提高训练模型的分类精度和泛化能力。
步骤S130，对所述融合特征和所述遥感图像信息分别提取边缘信息，并将提取的所述边缘信息进行融合得到增强边缘特征。
具体地，提取融合特征的边缘信息，同时提取遥感图像的边缘信息，将提取到的两种边缘信息进行融合得到增强边缘信息，通过对边缘信息的融合加强对遥感图像中模糊的边缘信息的提取。
进一步地，矿山场景中的山脉或山丘之间边界颜色相近，并且地形相对平缓，造成遥感图像中的边界信息比较模糊，因此，对遥感图像的边缘信息提取得到该图像的整体边缘信息，对融合特征进行边缘信息提取得到该图像中局部的具体特征边缘信息，然后将两种边缘信进行融合，使融合后的特征同时具备了整体和局部的边缘信息，可以更准确的遥感图像中边界模糊场景的边缘信息。
步骤S140，将所述增强边缘特征和所述融合特征进行融合，得到边缘融合特征。
具体地，通过将增强边缘特征和融合特征进行融合，使得到的边缘融合特征具有遥感图像中的丰富的边缘信息，同时也具备遥感图像中不同的场景特征信息，可以使模型根据遥感图像中的特征和边缘信息进行准确的场景分类。
步骤S150，将所述边缘融合特征进行通道特征加强，得到加强边缘融合特征。
示例性地，如图2所示，通道注意力特征加强通过压缩和激励网络(Squeeze-and-Excitation Networks，SE)实现，分为压缩和激励两部分，其中，再压缩部分，将维度为W'×H'×C'压缩成1×1×C'，即把W'×H'压缩为1×1维，该过程通过全局平局池化完成，在激励部分，将压缩部分得到的1×1×C'的维度通过全连接层和激活函数，得到各个通道的重要程度，然后再激励到边缘融合特征的对应通道中，得到加强边缘融合特征，使该特征的通道具有不同的权重，通过通道特征加强可以更好地体现遥感图像信息中的重要细节特征，使训练的目标场景分类模型可以更准确的认知输入的特征，从而提高分类的精度。
步骤S160，根据所述目标场景数据集中的全部所述标签和预设的标签共现关系确定每张所述遥感图像信息的标签特征。
具体地，标签共现关系是通过挖掘数据集中标签的共现模式来定义标签之间的相关性，即不同标签共同出现的可能性。通过目标场景数据集中标签之间的相互关系，得到每个遥感图像对应的标签特征，通过该标签特征可以有效建立特征之间的相互关系，较少遥感图像信息经过多次数据处理后造成小目标信息丢失。
步骤S170，将所述加强边缘融合特征和对应的所述标签特征进行融合，得到遥感图像综合特征。
示例性地，如图3所示，标签特征是一个N×C'的矩阵，将其重塑（reshape）成C'×N，目的是为了满足后续矩阵乘法的规则，将加强边缘融合特征投影成H'W'×C'大小的矩阵。然后将两个矩阵进行矩阵乘法得到一个H'W'×N大小的矩阵，将得到的矩阵reshape成N×H×W'矩阵，然后通过1x1卷积调整通道数，最后将加强边缘融合特征与之相加，得到遥感图像综合特征，从而实现标签信息的注入。
步骤S180，将所述遥感图像综合特征特征输入分类器进行训练，得到目标场景分类模型，其中，采用交叉熵损失函数生成训练结果损失值。
具体地，将融合了全部信息的遥感图像综合特征输入分类器得到分类结果，考虑类不平衡问题，采用交叉熵损失函数生成训练结果损失值，并对模型进行优化，例如经典的焦点损失函数（Focal Loss）。
本实施例中，通过对目标场景数据集中的遥感图像信息进行特征提取，将提取到的特征进行融合生成融合特征，可以得到该遥感图像信息更丰富的特征信息，有助于提高目标场景模型对遥感图像信息中的不同场景的分类精度，进一步地，提取融合特征和遥感图像信息的边缘信息，将提取到的边缘信息进行融实现对遥感图像中边缘信息的增强，从而得到增强边缘特征，将融合特征和边缘增强特征进行融合，得到边缘融合特征，该特征同时融合了遥感图像信息的多个特征信息和边缘信息，通过边缘融合特征进行通道加强，得到加强边缘融合特征，使经过通道方向加强的加强边缘融合特征具有通道权重信息，再将具有标签之间相关性的标签特征与加强边缘融合特征进行融合，得到遥感图像综合特征，使得到的遥感图像综合特征具有标签之间的相关性，将融合了多个信息的遥感图像综合特征输入分类器进行模型训练，最终得到目标场景分类模型。该模型通过融合了边缘特征、遥感图像特征和标签特征等矿山场景的相关信息的遥感图像综合特征进行训练得到，使得该模型可以更准确的对矿山的目标场景进行分类，通过边缘信息融入增强了模型对于场景的模糊边缘的辨别能力，通过标签特征融入避免了小目标特征的信息丢失，进一步提高了模型对矿山场景的分类精度。
可选地，所述对所述遥感图像信息进行特征提取并生成融合特征，包括：
对所述遥感图像信息进行多尺度特征提取并生成深层特征，对所述遥感图像信息进行浅层特征提取并生成浅层特征；
将所述深层特征和所述浅层特征进行融合，得到所述融合特征。
可选地，所述对所述遥感图像信息进行多尺度特征提取并生成深层特征，包括：
获取多个预设卷积核；
根据每个所述预设卷积核对所述遥感图像信息进行特征提取，得到对应的尺度特征；
将所述尺度特征进行融合，得到所述深层特征。
可选地，所述将所述尺度特征进行融合，得到所述深层特征，包括：
将全部所述尺度特征进行重采样，得到大小相等的所述尺度特征；
将大小相等的所述尺度特征进行融合，得到所述深层特征。
示例性地，如图4所示，通过多尺度特征提取模块得到深层特征，首先根据设定的1×1卷积核、3×3卷积核和5×5卷积核进行卷积运算。
进一步地，再通过NB层和最大池化层得到多个尺度特征，再将多尺度特征进行重采样，得到统一大小的多尺度特征，最后进行融合输出深层特征。
进一步地，再将原始图像通过简单的1x1卷积运算，在通过最大池化和重采样得到与深层特征同样尺寸的浅层特征，然后将深层特征和浅层特征在通道方向进行拼接，得到融合特征。
本可选的实施例中，通过提取不同尺寸的特征得到深层特征，可以获取到遥感图像信息中更丰富的整体信息，由于遥感图像信息在经过多层卷积后丢失部分细节信息，再提取遥感图像的浅层特征，通过浅层特征可以避免随着网络深度的增加而丢失重要的图像信息，通过将深层特征和浅层特征融合得到的融合特征，使其既保留了丰富的整体图像信息同时也保留了重要的细节图像信息，提高模型对。遥感图像特征的辨别能力，进一步提高模型的分类精度。
可选地，所述对所述融合特征和所述遥感图像信息分别提取边缘信息，并将提取的所述边缘信息进行融合得到增强边缘特征，包括：
通过边缘检测算子对所述融合特征进行边缘信息提取，生成融合特征边缘信息；
通过所述边缘检测算子对所述遥感图像信息进行边缘信息提取，生成遥感图像边缘信息；
将所述融合特征边缘信息和所述遥感图像边缘信息进行融合，得到增强边缘特征。
可选地，所述将所述融合特征边缘信息和所述遥感图像边缘信息进行融合，得到增强边缘特征，包括：
将所述遥感图像边缘信息进行重采样，生成重塑边缘信息；
将所述重塑边缘信息和所述融合特征边缘信息融合，生成增强边缘特征。
具体地，如图5所示，通过边缘检测算子（Canny）提取融合特征的融合特征边缘信息，同时通过Canny算子提取遥感图像信息的遥感图像边缘信息，再通过2×2卷积核对遥感图像边缘信息进行重采样，得到与融合特征边缘信息大小相同的重塑边缘信息，将重塑边缘信息和融合特征边缘信息在通道方向拼接，生成增强边缘特征。
本可选的实施例中，通过提取遥感图像的边缘信息，获取图像中不同区域属性发生突变的信息，通过提取融合特征的边缘信息，获取融合特征不同区域发生突变的信息，然后通过将二者的边缘信息进行融合，得到带有图像和融合特征边缘信息的增强边缘信息，通过对边缘信息的增强，可以提高模型对遥感图像边缘信息的分辨能力，进而提高模型的分类精度。
示例性地，在对于矿山中的目标场景进行分类过程中，不同于自然图像，遥感图像景背景复杂，并且存在图片拍摄角度，地形坡度，光照反射的影响，多尺寸物体、不规则或模糊边缘，地形的异质性和可变性等特征也限制了模型的分类精度，此外，矿山地区各地物类间相似度高且类不平衡。针对这些问题，通过不同的卷积核对图像进行特征提取，可以提取更丰富的特征信息，不免特征缺失。再提取图像边缘信息和融合特征边缘信息，可以更准确的获取矿山场景中相似度较高的边缘信息，例如矿山中分散的矿坑，通过整体边缘信息提取时可能获取不到，当通过对融合特征的边缘信息提取就可以获取局部特征的边缘信息。而对于平地与山丘的边缘，由于整体过度平缓，局部的边缘信息可能体现不出来，通过对遥感图像进行整体边缘信息提取就可以真确的获取到该边缘信息。
可选地，所述根据所述目标场景数据集中的全部所述标签和预设的标签共现关系确定每张所述遥感图像信息的标签特征，包括：
根据所述标签和预设的标签嵌入算法生成标签向量；
根据所述标签和预设的所述标签共现关系生成标签共现矩阵；
将所述标签向量和所述标签共现矩阵输入预设的图卷积网络，输出所述标签特征。
具体地，标签嵌入是指将标签数据（文本）表示为词向量（Word Embedding）可以使用全局向量词嵌入（Global Vectors）、快速文本模型（FastText）、谷歌新闻模型（GoogleNews)等方法进行训练得到相应的词向量,也可以直接使用训练好的词向量，通过上述方法得到目标场景数据集中标签的标签向量。
进一步地，共现矩阵，是通过挖掘数据集中标签的共现关系来定义标签之间的相关性，例如数据集中有k个标签，则我们需要构建k×k的标签共现矩阵，则矩阵中（i，j）处的数据表示在样本中当标签i出现时标签j也出现的条件概率，此时就可以根据图卷积公式进行计算。
进一步地，图卷积网络每一层通过图卷积公式进行卷积运算。卷积运算的结果作为标签特征用于和加强边缘融合特征进行融合，使融合得到的遥感图像综合特征具有标签位置关系信息。
具体地，图卷积公式包括：Hl+1=h（AHl·Wl）；
其中，Hl+1为标签特征，A为标签共现矩阵，Hl为Hl为第l层的激活特征·Wl为第l层的权值矩阵。
本可选的实施例中，通过标签嵌入和标签共现矩阵构建图网络，建立标签关系，小目标在卷积层数过深后丢失信息，提高模型的目标场景分类的准确定。
具体地，如图6所示，设定用于获取标签信息的图卷积网络为三层，每次图卷积后都会得到相应的标签信息，每个标签信息与通过特征融合与边缘增强通道得到的增强融合特征进行融合，得到遥感图像综合特征，将得到的遥感图像综合特征作为下一个迭代处理过程的输入的初始信息，通过将标签特征、融合特征和边缘增强特征进行融合并将该过程进行三次迭代处理，此外，基于密集连接的思想，将第一个边缘增强通道注意力模块信息分别与第二和第三个边缘增强通道注意力模块信息融合，将第二个边缘增强通道注意力模块信息与第三个边缘增强通道注意力模块信息融合。最后将最后得到的融合了图像信息、标签信息和边缘信息的遥感图像综合特征经过分类器得到分类结果，及输出标签值，考虑类不平衡问题，采用了经典的Focal Loss函数计算输出标签值和实际标签值之间的损失值，最终得到目标场景分类模型。
如图7所示，本发明实施例提供的一种目标场景分类方法，包括：
步骤S210，获取待处理的遥感图像信息。
具体地，待处理的遥感图像信息可以通过光学影像、雷达影像和DEM数字高程数据等方式获得。
步骤S220，将所述待处理的遥感图像输入训练好的所述目标场景分类模型，输出所述待处理的遥感图像信息中目标场景的分类结果；其中，所述训练好的目标场景分类模型采用如上所述的目标场景分类模型训练方法训练得到。
本可选的实施例中，将待处理遥感图像信息输入采用上述目标场景分类模型训练方法得到的目标场景分类模型，该模型通过具有遥感图像边缘信息、标签信息和特征信息的遥感图像综合特征训练得到，考虑类不平衡问题，损失函数采用了经典的焦点损失函数，相较于现有技术，有效的提高了对矿山目标场景进行分类的准确度。
本发明实施例提供的一种电子设备，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如上所述的目标场景分类模型训练方法。
本发明实施例中的一种电子设备具有上述目标场景分类模型训练方法相近似的技术效果，在此不再进行赘述。
本发明实施例提供的一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如如上所述的目标场景分类模型训练方。
本发明实施例中的一种计算机可读存储介质具有上述目标场景分类模型训练方法相近似的技术效果，在此不再进行赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。在本申请中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
虽然本发明披露如上，但本发明的保护范围并非仅限于此。本领域技术人员在不脱离本发明的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (9)

1.一种目标场景分类模型训练方法，其特征在于，包括：
获取目标场景数据集，所述数据集包括多张带有标签的遥感图像信息；
对所述遥感图像信息进行特征提取并生成融合特征；
对所述融合特征和所述遥感图像信息分别提取边缘信息，并将提取的所述边缘信息进行融合得到增强边缘特征；
将所述增强边缘特征和所述融合特征进行融合，得到边缘融合特征；
将所述边缘融合特征进行通道特征加强，得到加强边缘融合特征；
根据所述目标场景数据集中的全部所述标签和预设的标签共现关系确定每张所述遥感图像信息的标签特征；
将所述加强边缘融合特征和对应的所述标签特征进行融合，得到遥感图像综合特征；
将所述遥感图像综合特征输入分类器进行训练，得到目标场景分类模型；
所述根据所述目标场景数据集中的全部所述标签和预设的标签共现关系确定每张所述遥感图像信息的标签特征，包括：
根据所述标签和预设的标签嵌入算法生成标签向量；
根据所述标签和预设的所述标签共现关系生成标签共现矩阵；
将所述标签向量和所述标签共现矩阵输入预设的图卷积网络，输出所述标签特征。
2.根据权利要求1所述的目标场景分类模型训练方法，其特征在于，所述对所述遥感图像信息进行特征提取并生成融合特征，包括：
对所述遥感图像信息进行多尺度特征提取并生成深层特征，对所述遥感图像信息进行浅层特征提取并生成浅层特征；
将所述深层特征和所述浅层特征进行融合，得到所述融合特征。
3.根据权利要求2所述的目标场景分类模型训练方法，其特征在于，所述对所述遥感图像信息进行多尺度特征提取并生成深层特征，包括：
获取多个预设卷积核；
根据每个所述预设卷积核对所述遥感图像信息进行特征提取，得到对应的尺度特征；
将所述尺度特征进行融合，得到所述深层特征。
4.根据权利要求3所述的目标场景分类模型训练方法，其特征在于，所述将所述尺度特征进行融合，得到所述深层特征，包括：
将全部所述尺度特征进行重采样，得到大小相等的所述尺度特征；
将大小相等的所述尺度特征进行融合，得到所述深层特征。
5.根据权利要求1所述的目标场景分类模型训练方法，其特征在于，所述对所述融合特征和所述遥感图像信息分别提取边缘信息，并将提取的所述边缘信息进行融合得到增强边缘特征，包括：
通过边缘检测算子对所述融合特征进行边缘信息提取，生成融合特征边缘信息；
通过所述边缘检测算子对所述遥感图像信息进行边缘信息提取，生成遥感图像边缘信息；
将所述融合特征边缘信息和所述遥感图像边缘信息进行融合，得到增强边缘特征。
6.根据权利要求5所述的目标场景分类模型训练方法，其特征在于，所述将所述融合特征边缘信息和所述遥感图像边缘信息进行融合，得到增强边缘特征，包括：
将所述遥感图像边缘信息进行重采样，生成重塑边缘信息；
将所述重塑边缘信息和所述融合特征边缘信息融合，生成所述增强边缘特征。
7.一种目标场景分类方法，其特征在于，包括：
获取待处理的遥感图像信息；
将所述待处理的遥感图像输入训练好的所述目标场景分类模型，输出所述待处理的遥感图像信息中目标场景的分类结果；其中，所述训练好的目标场景分类模型采用如权利要求1至6任一项所述的目标场景分类模型训练方法训练得到。
8.一种电子设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求1至6任一项所述的目标场景分类模型训练方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1至6任一项所述的目标场景分类模型训练方法。
CN202310999943.9A 2023-08-10 2023-08-10 目标场景分类模型训练方法、分类方法、设备及存储介质 Active CN116721301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310999943.9A CN116721301B (zh) 2023-08-10 2023-08-10 目标场景分类模型训练方法、分类方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310999943.9A CN116721301B (zh) 2023-08-10 2023-08-10 目标场景分类模型训练方法、分类方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116721301A CN116721301A (zh) 2023-09-08
CN116721301B true CN116721301B (zh) 2023-10-24

Family

ID=87868375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310999943.9A Active CN116721301B (zh) 2023-08-10 2023-08-10 目标场景分类模型训练方法、分类方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116721301B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876538B (zh) * 2024-03-11 2024-05-31 成都环境工程建设有限公司 一种垃圾发电厂可视化管理方法及系统
CN117876797B (zh) * 2024-03-11 2024-06-04 中国地质大学（武汉） 图像多标签分类方法、装置及存储介质
CN118334517A (zh) * 2024-04-12 2024-07-12 中国地质大学（武汉） 一种矿区遥感场景分类模型构建方法、装置及分类方法
CN118537759A (zh) * 2024-07-08 2024-08-23 南通拓尔普测绘信息有限公司 一种遥感影像特征识别方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017192194A2 (en) * 2016-02-09 2017-11-09 Hrl Laboratories, Llc System and method for the fusion of bottom-up whole-image features and top-down entity classification for accurate image/video scene classification
CN111079649A (zh) * 2019-12-17 2020-04-28 西安电子科技大学 基于轻量化语义分割网络的遥感图像地物分类方法
CN111461258A (zh) * 2020-04-26 2020-07-28 武汉大学 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法
CN111767800A (zh) * 2020-06-02 2020-10-13 华南师范大学 遥感影像场景分类得分融合方法、系统、设备及存储介质
CN112101190A (zh) * 2020-09-11 2020-12-18 西安电子科技大学 一种遥感图像分类方法、存储介质及计算设备
CN112163504A (zh) * 2020-09-24 2021-01-01 杭州电子科技大学 基于结构图卷积网络的遥感图像小样本舰船目标识别方法
CN112766083A (zh) * 2020-12-30 2021-05-07 中南民族大学 基于多尺度特征融合的遥感场景分类方法及系统
CN113850825A (zh) * 2021-09-27 2021-12-28 太原理工大学 基于上下文信息和多尺度特征融合的遥感图像道路分割方法
CN113988147A (zh) * 2021-12-08 2022-01-28 南京信息工程大学 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN114005003A (zh) * 2021-12-09 2022-02-01 齐齐哈尔大学 基于通道多分组融合的遥感场景图像分类方法
CN114359613A (zh) * 2020-10-13 2022-04-15 华东理工大学 一种基于空间和多通道融合自注意力网络的遥感图像场景分类方法
CN115439654A (zh) * 2022-11-07 2022-12-06 武汉数字家园科技有限公司 动态约束下的弱监督农田地块精细化分割方法及系统
CN115937594A (zh) * 2022-12-14 2023-04-07 长沙理工大学 基于局部与全局特征融合的遥感图像分类方法和装置
CN116012722A (zh) * 2022-09-08 2023-04-25 中国人民解放军战略支援部队信息工程大学 一种遥感影像场景分类方法
WO2023087558A1 (zh) * 2021-11-22 2023-05-25 重庆邮电大学 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法
CN116258973A (zh) * 2022-09-05 2023-06-13 中国人民解放军战略支援部队信息工程大学 一种多尺度特征联合的遥感影像场景分类方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8644624B2 (en) * 2009-07-28 2014-02-04 Samsung Electronics Co., Ltd. System and method for indoor-outdoor scene classification
US11034357B2 (en) * 2018-09-14 2021-06-15 Honda Motor Co., Ltd. Scene classification prediction
CA3239810A1 (en) * 2019-03-08 2020-09-17 Leddartech Inc. Method, system and computer readable medium for evaluating influence of an action performed by an external entity
CN111325165B (zh) * 2020-02-26 2023-05-05 中南大学 考虑空间关系信息的城市遥感影像场景分类方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017192194A2 (en) * 2016-02-09 2017-11-09 Hrl Laboratories, Llc System and method for the fusion of bottom-up whole-image features and top-down entity classification for accurate image/video scene classification
CN111079649A (zh) * 2019-12-17 2020-04-28 西安电子科技大学 基于轻量化语义分割网络的遥感图像地物分类方法
CN111461258A (zh) * 2020-04-26 2020-07-28 武汉大学 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法
CN111767800A (zh) * 2020-06-02 2020-10-13 华南师范大学 遥感影像场景分类得分融合方法、系统、设备及存储介质
CN112101190A (zh) * 2020-09-11 2020-12-18 西安电子科技大学 一种遥感图像分类方法、存储介质及计算设备
CN112163504A (zh) * 2020-09-24 2021-01-01 杭州电子科技大学 基于结构图卷积网络的遥感图像小样本舰船目标识别方法
CN114359613A (zh) * 2020-10-13 2022-04-15 华东理工大学 一种基于空间和多通道融合自注意力网络的遥感图像场景分类方法
CN112766083A (zh) * 2020-12-30 2021-05-07 中南民族大学 基于多尺度特征融合的遥感场景分类方法及系统
CN113850825A (zh) * 2021-09-27 2021-12-28 太原理工大学 基于上下文信息和多尺度特征融合的遥感图像道路分割方法
WO2023087558A1 (zh) * 2021-11-22 2023-05-25 重庆邮电大学 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法
CN113988147A (zh) * 2021-12-08 2022-01-28 南京信息工程大学 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN114005003A (zh) * 2021-12-09 2022-02-01 齐齐哈尔大学 基于通道多分组融合的遥感场景图像分类方法
CN116258973A (zh) * 2022-09-05 2023-06-13 中国人民解放军战略支援部队信息工程大学 一种多尺度特征联合的遥感影像场景分类方法
CN116012722A (zh) * 2022-09-08 2023-04-25 中国人民解放军战略支援部队信息工程大学 一种遥感影像场景分类方法
CN115439654A (zh) * 2022-11-07 2022-12-06 武汉数字家园科技有限公司 动态约束下的弱监督农田地块精细化分割方法及系统
CN115937594A (zh) * 2022-12-14 2023-04-07 长沙理工大学 基于局部与全局特征融合的遥感图像分类方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Multi-Level Output-Based DBN Model for Fine Classification of Complex Geo-Environment Area Using Ziyuan-3 TMS Imagery;Meng Li et al;《Open Access》;全文 *
Semantic Segmentation of Remote Sensing Images Based on Dual Attention and Multi-scale Feature Fusion;Weng M et al;《International Conference on Graphics and Image Processing》;全文 *
植被覆盖区高精度遥感地貌场景分类数据集;欧阳淑冰等;《遥感学报》;第26卷(第04期);全文 *

Also Published As

Publication number Publication date
CN116721301A (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN116721301B (zh) 目标场景分类模型训练方法、分类方法、设备及存储介质
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN110852349B (zh) 一种图像处理方法、检测方法、相关设备及存储介质
CN111814794B (zh) 文本检测方法、装置、电子设备及存储介质
CN109960742B (zh) 局部信息的搜索方法及装置
CN112348117B (zh) 场景识别方法、装置、计算机设备和存储介质
CN109977942B (zh) 一种基于场景分类和超分辨率的场景文字识别方法
CN109118504B (zh) 一种基于神经网络的图像边缘检测方法、装置及其设备
CN111833322B (zh) 一种基于改进YOLOv3的垃圾多目标检测方法
US20240257423A1 (en) Image processing method and apparatus, and computer readable storage medium
CN109101981B (zh) 一种街景场景下基于全局图像条纹码的回环检测方法
CN111523463B (zh) 基于匹配-回归网络的目标跟踪方法及训练方法
CN112836756A (zh) 图像识别模型训练方法、系统和计算机设备
CN114972947B (zh) 一种基于模糊语义建模的深度场景文本检测方法和装置
CN110210480A (zh) 文字识别方法、装置、电子设备和计算机可读存储介质
Baek et al. A pedestrian detection system accelerated by kernelized proposals
CN112329771A (zh) 一种基于深度学习的建筑材料样本识别方法
Buenaposada et al. Improving multi-class Boosting-based object detection
CN113849679A (zh) 图像检索方法、装置、电子设备及存储介质
CN115115825A (zh) 图像中的对象检测方法、装置、计算机设备和存储介质
CN113536977A (zh) 一种面向360度全景图像的显著性目标检测方法
CN115797291B (zh) 回路端子的识别方法、装置、计算机设备和存储介质
CN114743045B (zh) 一种基于双分支区域建议网络的小样本目标检测方法
Li et al. A new algorithm of vehicle license plate location based on convolutional neural network
Li et al. DAR‐Net: Dense Attentional Residual Network for Vehicle Detection in Aerial Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant