CN113705489B - 基于先验区域知识指导的遥感影像细粒度飞机识别方法 - Google Patents

基于先验区域知识指导的遥感影像细粒度飞机识别方法 Download PDF

Info

Publication number
CN113705489B
CN113705489B CN202111014410.8A CN202111014410A CN113705489B CN 113705489 B CN113705489 B CN 113705489B CN 202111014410 A CN202111014410 A CN 202111014410A CN 113705489 B CN113705489 B CN 113705489B
Authority
CN
China
Prior art keywords
fine
aircraft
airplane
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111014410.8A
Other languages
English (en)
Other versions
CN113705489A (zh
Inventor
方舟
罗子娟
李雪松
缪伟鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN202111014410.8A priority Critical patent/CN113705489B/zh
Publication of CN113705489A publication Critical patent/CN113705489A/zh
Application granted granted Critical
Publication of CN113705489B publication Critical patent/CN113705489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于先验区域知识指导的遥感影像细粒度飞机识别方法，包括：构建并训练飞机识别模型中的特征指导细粒度分类模型，用于输入飞机图像，根据图像特征，识别飞机类别；构建并训练飞机识别模型中的区域指导细粒度分类模型，用于输入飞机图像和飞机停靠区域的机场背景图像，联合图像特征与停靠位置信息，识别飞机类型；基于区域指导细指导粒度分类模型对训练集图像进行特征提取，获得每个飞机类别的特征模板；识别过程中，将区域指导细粒度分类模型的输出结果与相应飞机类别的特征模板比较，根据比较结果确定飞机识别最终结果。相较于现有技术，本发明具有更强的泛化能力，更高的鲁棒性以及更高的识别准确率。

Description

基于先验区域知识指导的遥感影像细粒度飞机识别方法
技术领域
本发明涉及数字图像处理与人工智能技术领域，涉及细粒度目标识别与异常检测，针对多分辨率遥感影像中大规模细粒度飞机分类问题，尤其涉及基于先验区域知识指导的遥感影像细粒度飞机识别模型。
背景技术
通过遥感影像对机场中飞机的准确检测识别在机场实时监控、管理方面有着重要的作用。近年来，深度学习技术在计算机视觉领域迅速发展，细粒度识别问题受到了越来越多的关注，并且在一些自然图像数据集上达到了极高的准确率。然而目前关于遥感影像中飞机目标的研究主要集中在飞机检测，少部分文献关注飞机细粒度分类任务，并且这些分类任务的类别数量也十分有限，与自然影像数据集目标类别数量差距大，不能满足实际使用需求。
相比于面向自然影像数据集的细粒度识别问题，面向卫星遥感影像的细粒度目标分类更加困难。一方面遥感影像分辨率差异较大，大量图像分辨率较低，同时飞机目标尺寸较小，这导致图像中飞机的局部特征缺失。然而目前细粒度识别模型算法例如TrilinearAttention Sampling Network(TASN)，Three Branch and Multi-Scale LearningNetwork(TBMSL-Net)，通常是利用注意力机制提取图像中目标间细微的特征差别，实现细粒度分类，这导致此类算法在遥感影像数据中表现差。另一方面飞机类别数量多，同一型号飞机具有大量子类别，子类别间区别小，这对细粒度分类模型提取有效特征的能力提出了极高的要求，难以实现准确细粒度识别。
因此，为了解决多分辨率遥感影像中飞机目标细粒度分类准确率低的问题，提出了基于先验区域知识指导的细粒度飞机识别方法。
发明内容
发明目的：有效利用先验领域知识研发深度学习模型的架构，大幅度提升多分辨率遥感影像中大规模细粒度飞机目标分类准确率，同时检测异常情况。
技术方案：为实现上述目的，本发明提供基于先验区域知识指导的遥感影像细粒度飞机识别方法，本方法基于先验区域知识指导的遥感影像细粒度飞机识别模型(Location Guided Convolutional Neural Network，LG-Net)实现，所述方法包括：
步骤1，构建并训练飞机识别模型中的特征指导细粒度分类模型，用于输入飞机图像，仅通过所述飞机图像对应的图像特征，识别飞机类别；
步骤2，构建并训练所述飞机识别模型中的区域指导细粒度分类模型，用于输入所述飞机图像和飞机停靠区域的机场背景图像，通过联合所述飞机图像对应的飞机图像特征和机场背景图像对应的机场区域位置特征，识别飞机类别；
步骤3，基于所述区域指导细指导粒度分类模型对训练集图像进行特征提取，获得每个飞机类别的特征模板；
步骤4，识别过程中，将所述区域指导细粒度分类模型的输出结果与相应飞机类别的特征模板比较，根据比较结果确定飞机识别结果。
进一步地，在一种实现方式中，所述步骤1中对特征指导细粒度分类模型的构建并训练，包括：
步骤1-1，所述特征指导细粒度分类模型为仅依靠飞机图像特征的细粒度识别模型，采用EfficientNet作为基础模型架构，全连层输出向量长度根据飞机类别数量确定；
步骤1-2，训练过程中，所述特征指导细粒度分类模型的卷积层初始化采用ImageNet预训练模型，所述特征指导细粒度分类模型的全连层采用随机分布初始化参数。
进一步地，在一种实现方式中，所述步骤2中对区域指导细粒度分类模型的构建并训练，包括：
步骤2-1，所述区域指导细粒度分类模型包括上分支模型和下分支模型，其中，所述上分支模型的输入为飞机图像，所述下分支模型的输入为与所述飞机图像对应的飞机停靠区域的机场背景图像；每个分支模型均采用ResNet152作为基础模型，最后一层卷积层输出展平生成特征向量，所述特征向量包括飞机图像特征与机场区域位置特征；
步骤2-2，所述飞机图像特征与机场区域位置特征通过点乘生成融合特征，所述融合特征经过全连层分别进行飞机类别预测，损失函数采用交叉熵函数；
步骤2-3，在所述区域指导细粒度分类模型的训练阶段，所述区域指导细粒度分类模型卷积部分与全连层部分采用不同学习率。本发明中，通过将所述区域指导细粒度分类模型卷积部分与全连层部分采用不同学习率，以提升分类的准确率。
进一步地，在一种实现方式中，所述步骤3包括：
步骤3-1，采用旋转和切割的方法对所述训练集图像进行数据增强；
步骤3-2，将数据增强后的所述训练集图像经过归一化后送入训练后的区域指导细粒度分类模型，提取飞机图像特征、机场区域位置特征和融合特征；
步骤3-3，根据所述飞机类别生成与飞机类别相应的特征模板，所述特征模板包括飞机图像特征模板、机场区域位置特征模板以及融合特征模板。
进一步地，在一种实现方式中，所述步骤3-3，包括：
步骤3-3-1，通过训练后的所述区域指导细粒度分类模型，对所有训练集图像进行特征提取；其中，所述飞机图像特征即上分支模型卷积层展平后生成的特征向量，所述机场区域位置特征即下分支模型卷积层展平后生成的特征向量，所述融合特征即两者点乘后生成的特征向量；
步骤3-3-2，将所述所有训练集图像的三种特征分别求和并求均值，获得飞机图像特征模板、机场区域位置特征模板和融合特征模板。
进一步地，在一种实现方式中，所述步骤3-3-2，包括：
根据以下公式，获取飞机图像特征均值、机场区域位置特征均值和融合特征均值：
其中，c代表特征类别，n代表飞机类别，L代表训练集测试样本总数，代表第i个训练样本生成的c类特征，/>代表第n种飞机的c类特征。
进一步地，在一种实现方式中，所述步骤4包括：
步骤4-1，将所述飞机图像特征、机场区域位置特征与融合特征分别与每个飞机类别的特征模板比较，获得KL离散度；
步骤4-2，将所述KL离散度与预设阈值比较，获得比较结果；
步骤4-3，根据所述比较结果确定飞机识别结果。
进一步地，在一种实现方式中，所述步骤4-1包括：
根据以下公式，求测试特征与模板的KL离散度：
其中，Fi c代表测试样本i的c种特征，分别为飞机图像特征散度，机场区域位置特征散度和融合特征散度，θplane,θport,θfusion为加权求和系数。
进一步地，在一种实现方式中，所述步骤4-2包括：
根据以下公式，将所述KL离散度与预设阈值θ比较：
进一步地，在一种实现方式中，所述步骤4-3包括：
若所述比较结果为KL离散度小于预设阈值，则选取所述区域指导细粒度分类模型结果作为飞机识别结果；
若所述比较结果为KL离散度大于或等于预设阈值，则选取所述特征指导细粒度分类模型结果作为飞机识别结果，并确定所述飞机识别结果出现异常情况。
与现有技术相比，本发明提供的基于先验区域知识指导的遥感影像细粒度飞机识别方法具有以下有益效果：
(1)本发明具有更强泛化能力，能处理多分辨率的遥感影像；(2)本发明的鲁棒性提高，可以处理云雾遮挡；(3)本发明具有识别大规模细粒度目标类别的能力，同时大幅度提升识别准确率，达到实际使用要求；(4)本发明实现了异常情况检测功能，满足更广泛的实际应用需求例如场景理解分析，变化检测等。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例部分提供的基于先验区域知识的遥感影像细粒度飞机识别模型的模型架构示意图；
图2是本发明实施例部分提供的基于先验区域知识的遥感影像细粒度飞机识别模型中区域指导细粒度分类模型的类别模板提取示意图；
图3是本发明实施例部分提供的基于先验区域知识的遥感影像细粒度飞机识别模型中特征指导细粒度分类模型与区域指导细粒度分类模型结果融合示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例公开基于先验区域知识指导的遥感影像细粒度飞机识别方法，本方法应用于多分辨率遥感影像中复杂场景下的大规模飞机细粒度识别任务，此外，本方法并不限定于通过某一种遥感影像的数据集来实现。所述方法包括：
步骤1，构建并训练飞机识别模型中的特征指导细粒度分类模型，用于输入飞机图像，仅通过所述飞机图像对应的图像特征，识别飞机类别；
步骤2，构建并训练所述飞机识别模型中的区域指导细粒度分类模型，用于输入所述飞机图像和飞机停靠区域的机场背景图像，通过联合所述飞机图像对应的飞机图像特征和机场背景图像对应的机场区域位置特征，识别飞机类别；
步骤3，基于所述区域指导细指导粒度分类模型对训练集图像进行特征提取，获得每个飞机类别的特征模板；
步骤4，识别过程中，将所述区域指导细粒度分类模型的输出结果与相应飞机类别的特征模板比较，根据比较结果确定飞机识别结果。
具体的，本实施例中，如图1所示，本方法最终使用的基于先验区域知识指导的细粒度飞机模型由步骤1构建并训练的特征指导细粒度分类模型和步骤2构建并训练的区域指导细粒度分类模型组成。本实施例中，所述区域指导细粒度分类模型通过挖掘飞机类别与其相应机场停靠位置的关系，提升了飞机细粒度识别准确率。测试阶段通过判断飞机停靠位置与相应的类别是否有异常，选择特征指导细粒度分类模型或区域指导细粒度分类模型预测结果作为最终分类结果。
本实施例所述的基于先验区域知识指导的遥感影像细粒度飞机识别方法中，所述步骤1中对特征指导细粒度分类模型的构建并训练，包括：
步骤1-1，所述特征指导细粒度分类模型为仅依靠飞机图像特征的细粒度识别模型，采用EfficientNet作为基础模型架构，全连层输出向量长度根据飞机类别数量确定；
步骤1-2，训练过程中，所述特征指导细粒度分类模型的卷积层初始化采用ImageNet预训练模型，所述特征指导细粒度分类模型的全连层采用随机分布初始化参数。
本实施例所述的基于先验区域知识指导的遥感影像细粒度飞机识别方法中，所述步骤2中对区域指导细粒度分类模型的构建并训练，包括：
步骤2-1，所述区域指导细粒度分类模型包括上分支模型和下分支模型，其中，所述上分支模型的输入为飞机图像，所述下分支模型的输入为与所述飞机图像对应的飞机停靠区域的机场背景图像；每个分支模型均采用ResNet152作为基础模型，最后一层卷积层输出展平(flatten)生成特征向量，所述特征向量包括飞机图像特征与机场区域位置特征；
步骤2-2，所述飞机图像特征与机场区域位置特征通过点乘生成融合特征，所述融合特征经过全连层分别进行飞机类别预测，损失函数采用交叉熵函数；
步骤2-3，在所述区域指导细粒度分类模型的训练阶段，所述区域指导细粒度分类模型卷积部分与全连层部分采用不同学习率。本实施例中，通过将所述区域指导细粒度分类模型卷积部分与全连层部分采用不同学习率，以提升分类的准确率。具体的，本实施例中卷积层初始学习率可设定为0.01，全连层初始学习率可设定为0.02；
如图1所示，所述区域指导细粒度分类模型分为上下分支，每个分支采用ResNet152作为基础特征提取模型。为了使模型学习先验领域知识，关联飞机类别与相应的机场位置，(1)将两特征向量相乘得到融合特征，生成的融合特征同时包含飞机特征与相应机场位置信息；(2)融合特征经过全连层生成飞机类别预测，损失函数采用交叉熵。在训练过程中，上分支模型输入为单个飞机图像，下分支模型输入为以此飞机为中心的周围机场背景图像，即所述飞机停靠区域的机场背景图像，具体的，本实施例中，选取背景尺寸为8倍飞机尺寸。
本实施例所述的基于先验区域知识指导的遥感影像细粒度飞机识别方法中，所述步骤3包括：
步骤3-1，采用旋转和切割的方法对所述训练集图像进行数据增强；
步骤3-2，将数据增强后的所述训练集图像经过归一化后送入训练后的区域指导细粒度分类模型，提取飞机图像特征、机场区域位置特征和融合特征；
步骤3-3，根据所述飞机类别生成与飞机类别相应的特征模板，所述特征模板包括飞机图像特征模板、机场区域位置特征模板以及融合特征模板。本步骤中，通过训练集生成特征模板，而所述飞机类别通过训练集标注提供。
具体的，本实施例中，如图2所示，通过步骤3将训练集图像减去均值，尺寸归一为224ⅹ224后，送入训练后的区域指导细粒度分类模型提取飞机特征(上分支网络输出)、机场区域位置特征(下分支网络输出)以及融合特征(点积结果)。
本实施例所述的基于先验区域知识指导的遥感影像细粒度飞机识别方法中，所述步骤3-3，包括：
步骤3-3-1，通过训练后的所述区域指导细粒度分类模型，对所有训练集图像进行特征提取；其中，所述飞机图像特征即上分支模型卷积层展平后生成的特征向量，所述机场区域位置特征即下分支模型卷积层展平后生成的特征向量，所述融合特征即两者点乘后生成的特征向量；
步骤3-3-2，将所述所有训练集图像的三种特征分别求和并求均值，获得飞机图像特征模板、机场区域位置特征模板和融合特征模板。
本实施例所述的基于先验区域知识指导的遥感影像细粒度飞机识别方法中，所述步骤3-3-2，包括：
根据以下公式，获取飞机图像特征均值、机场区域位置特征均值和融合特征均值：
其中，c代表特征类别，n代表飞机类别，L代表训练集测试样本总数，代表第i个训练样本生成的c类特征，/>代表第n种飞机的c类特征。
本实施例所述的基于先验区域知识指导的遥感影像细粒度飞机识别方法中，所述步骤4包括：
步骤4-1，将所述飞机图像特征、机场区域位置特征与融合特征分别与每个飞机类别的特征模板比较，获得KL离散度；
步骤4-2，将所述KL离散度与预设阈值比较，获得比较结果；
步骤4-3，根据所述比较结果确定飞机识别结果。
本实施例所述的基于先验区域知识指导的遥感影像细粒度飞机识别方法中，所述步骤4-1包括：
根据以下公式，求测试特征与模板的KL离散度：
其中，Fi c代表测试样本i的c种特征，分别为飞机图像特征散度，机场区域位置特征散度和融合特征散度，θplane,θport,θfusion为加权求和系数。
本实施例中，在对模型的测试过程中，将测试图像送入特征指导细粒度分类模型得到分类结果。然后如图3所示，将飞机图像与对应停靠区域的机场背景图像输入区域指导细粒度分类模型提取测试图像飞机特征、机场区域位置特征和融合特征，再利用公式2即可求测试特征与模板的KL离散度。
本实施例所述的基于先验区域知识指导的遥感影像细粒度飞机识别方法中，所述步骤4-2包括：
根据以下公式，将所述KL离散度与预设阈值θ比较：
具体的，本实施例中，所述预设阈值θ可以设定为1.3，加权求和系数θplane,θport,θfusion分别为1，1，0.1。
本实施例所述的基于先验区域知识指导的遥感影像细粒度飞机识别方法中，所述步骤4-3包括：
若所述比较结果为KL离散度小于预设阈值，则选取所述区域指导细粒度分类模型结果作为飞机识别结果；
若所述比较结果为KL离散度大于或等于预设阈值，则选取所述特征指导细粒度分类模型结果作为飞机识别结果，并确定所述飞机识别结果出现异常情况即所识别出的飞机类型停靠在新的位置，或机场中出现了新的飞机类型。
具体的，本实施例中，若所述比较结果为KL离散度小于预设阈值，则说明测试样本中飞机类别与停放位置匹配，符合通常情况，区域指导细粒度分类模型结果置信度较高，可以作为最终结果。当若所述比较结果为KL离散度大于或等于预设阈值时，则说明飞机停放位置异常，不符合通常情况，选取特征指导细粒度分类模型结果作为最终结果，并判断为异常情况。
本发明提供了一种基于先验区域知识指导的遥感影像细粒度飞机识别方法，通过融合领域专业判读知识与飞机图像特征，提升多分辨率遥感影像中细粒度飞机识别的准确率，同时实现异常情况检测与预警功能。基于先验区域知识指导的细粒度识别模型由特征指导细粒度分类模型与区域指导细粒度分类模型组成。特征指导细粒度分类模型只依靠图像特征，通过从遥感影像中提取有效特征信息进行分类。区域指导细粒度分类模型依据先验领域知识，融合飞机的图像特征与其机场停放位置信息完成细粒度分类。基于训练后的区域指导细粒度分类模型生成特征模板包含飞机特征模板、机场区域位置特征模板与融合特征模板，根据测试样本特征与模板的差异度，选择两模型分类结果作为最终结果，并判读是否有检测异常情况。
与现有技术相比，本发明提供的基于先验区域知识指导的遥感影像细粒度飞机识别方法具有以下有益效果：
(1)本发明具有更强的泛化能力，能处理多分辨率的遥感影像；(2)本发明的鲁棒性提高，可以处理云雾遮挡；(3)本发明具有识别大规模细粒度目标类别的能力，同时大幅度提升识别准确率，达到实际使用要求；(4)本发明实现了异常情况检测功能，满足更广泛的实际应用需求例如场景理解分析，变化检测等。
具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的基于先验区域知识指导的遥感影像细粒度飞机识别方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (8)

1.基于先验区域知识指导的遥感影像细粒度飞机识别方法，其特征在于，所述方法包括：
步骤1，构建并训练飞机识别模型中的特征指导细粒度分类模型，用于输入飞机图像，仅通过所述飞机图像对应的图像特征，识别飞机类别；
步骤2，构建并训练飞机识别模型中的区域指导细粒度分类模型，用于输入所述飞机图像和飞机停靠区域的机场背景图像，通过联合所述飞机图像对应的飞机图像特征和机场背景图像对应的机场区域位置特征，识别飞机类别；
步骤3，基于训练后的区域指导细指导粒度分类模型对训练集图像进行特征提取，获得每个飞机类别的特征模板；
步骤4，识别过程中，将所述区域指导细粒度分类模型的输出结果与相应飞机类别的特征模板比较，根据比较结果确定飞机识别最终结果；
所述步骤4包括：
步骤4-1，将所述飞机图像特征、机场区域位置特征与融合特征分别与每个飞机类别的特征模板比较，获得KL离散度；所述融合特征为飞机图像特征与机场区域位置特征通过点乘生成；
步骤4-2，将所述KL离散度与预设阈值比较，获得比较结果；
步骤4-3，根据所述比较结果确定飞机识别结果；
所述步骤4-3包括：
若所述比较结果为KL离散度小于预设阈值，则选取所述区域指导细粒度分类模型的结果作为飞机识别结果；
若所述比较结果为KL离散度大于或等于预设阈值，则选取所述特征指导细粒度分类模型的结果作为飞机识别结果，并确定所述飞机识别结果出现异常情况。
2.根据权利要求1所述的基于先验区域知识指导的遥感影像细粒度飞机识别方法，其特征在于，所述步骤1中对特征指导细粒度分类模型的构建并训练，包括：
步骤1-1，所述特征指导细粒度分类模型为仅依靠飞机图像特征的细粒度识别模型，采用EfficientNet作为基础模型架构，全连层输出向量长度根据飞机类别数量确定；
步骤1-2，训练过程中，所述特征指导细粒度分类模型的卷积层初始化采用ImageNet预训练模型，所述特征指导细粒度分类模型的全连层采用随机分布初始化参数。
3.根据权利要求1所述的基于先验区域知识指导的遥感影像细粒度飞机识别方法，其特征在于，所述步骤2中对区域指导细粒度分类模型的构建并训练，包括：
步骤2-1，所述区域指导细粒度分类模型包括上分支模型和下分支模型，其中，所述上分支模型的输入为飞机图像，所述下分支模型的输入为与所述飞机图像对应的飞机停靠区域的机场背景图像；每个分支模型均采用ResNet152作为基础模型，最后一层卷积层输出展平生成特征向量，所述特征向量包括飞机图像特征与机场区域位置特征；
步骤2-2，所述融合特征经过全连层分别进行飞机类别预测，损失函数采用交叉熵函数；
步骤2-3，在所述区域指导细粒度分类模型的训练阶段，所述区域指导细粒度分类模型的卷积部分与全连层分类部分采用不同学习率。
4.根据权利要求1所述的基于先验区域知识指导的遥感影像细粒度飞机识别方法，其特征在于，所述步骤3包括：
步骤3-1，采用旋转和切割的方法对所述训练集图像进行数据增强；
步骤3-2，将数据增强后的所述训练集图像经过归一化后送入训练后的区域指导细粒度分类模型，提取飞机图像特征、机场区域位置特征和融合特征；
步骤3-3，根据所述飞机类别生成与飞机类别相应的特征模板，所述特征模板包括飞机图像特征模板、机场区域位置特征模板以及融合特征模板。
5.根据权利要求4所述的基于先验区域知识指导的遥感影像细粒度飞机识别方法，其特征在于，所述步骤3-3，包括：
步骤3-3-1，通过训练后的所述区域指导细粒度分类模型，对所有训练集图像进行特征提取；其中，所述飞机图像特征即上分支模型卷积层展平后生成的特征向量，所述机场区域位置特征即下分支模型卷积层展平后生成的特征向量，所述融合特征即两者点乘后生成的特征向量；
步骤3-3-2，将所述所有训练集图像的三种特征分别求和并求均值，获得飞机图像特征模板、机场区域位置特征模板和融合特征模板。
6.根据权利要求5所述的基于先验区域知识指导的遥感影像细粒度飞机识别方法，其特征在于，所述步骤3-3-2，包括：
根据以下公式，获取飞机图像特征均值、机场区域位置特征均值和融合特征均值：
其中，c代表特征类别，n代表飞机类别，L代表训练集测试样本总数，代表第i个训练样本生成的c类特征，/>代表第n种飞机的c类特征。
7.根据权利要求6所述的基于先验区域知识指导的遥感影像细粒度飞机识别方法，其特征在于，所述步骤4-1包括：
根据以下公式，求测试特征与模板的KL离散度：
其中，Fi c代表测试样本i的c种特征，分别为飞机图像特征散度，机场区域位置特征散度和融合特征散度，θplane,θport,θfusion为加权求和系数。
8.根据权利要求7所述的基于先验区域知识指导的遥感影像细粒度飞机识别方法，其特征在于，所述步骤4-2包括：
根据以下公式，将所述KL离散度与预设阈值θ比较：
CN202111014410.8A 2021-08-31 2021-08-31 基于先验区域知识指导的遥感影像细粒度飞机识别方法 Active CN113705489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111014410.8A CN113705489B (zh) 2021-08-31 2021-08-31 基于先验区域知识指导的遥感影像细粒度飞机识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111014410.8A CN113705489B (zh) 2021-08-31 2021-08-31 基于先验区域知识指导的遥感影像细粒度飞机识别方法

Publications (2)

Publication Number Publication Date
CN113705489A CN113705489A (zh) 2021-11-26
CN113705489B true CN113705489B (zh) 2024-06-07

Family

ID=78658126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111014410.8A Active CN113705489B (zh) 2021-08-31 2021-08-31 基于先验区域知识指导的遥感影像细粒度飞机识别方法

Country Status (1)

Country Link
CN (1) CN113705489B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549866A (zh) * 2018-04-12 2018-09-18 上海海事大学 基于密集卷积神经网络的遥感飞机识别方法
CN108764082A (zh) * 2018-05-17 2018-11-06 淘然视界(杭州)科技有限公司 一种飞机目标检测方法、电子设备、存储介质及系统
CN109753999A (zh) * 2018-12-21 2019-05-14 西北工业大学 针对任意视角汽车图片的细粒度车型识别方法
CN109919106A (zh) * 2019-03-11 2019-06-21 同济大学 渐进式目标精细识别与描述方法
CN110689091A (zh) * 2019-10-18 2020-01-14 中国科学技术大学 弱监督细粒度物体分类方法
CN111144422A (zh) * 2019-12-19 2020-05-12 华中科技大学 一种飞机部件的定位识别方法和系统
CN112132004A (zh) * 2020-09-21 2020-12-25 南水北调中线信息科技有限公司 一种基于多视角特征融合的细粒度图像识别方法
CN112668441A (zh) * 2020-12-24 2021-04-16 中国电子科技集团公司第二十八研究所 一种结合先验知识的卫星遥感影像飞机目标识别方法
CN112906605A (zh) * 2021-03-05 2021-06-04 南京航空航天大学 一种高准确率的跨模态行人重识别方法
CN112966555A (zh) * 2021-02-02 2021-06-15 武汉大学 一种基于深度学习和部件先验的遥感影像飞机识别方法
CN113255793A (zh) * 2021-06-01 2021-08-13 之江实验室 一种基于对比学习的细粒度舰船识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902615B2 (en) * 2017-11-13 2021-01-26 Qualcomm Incorporated Hybrid and self-aware long-term object tracking

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549866A (zh) * 2018-04-12 2018-09-18 上海海事大学 基于密集卷积神经网络的遥感飞机识别方法
CN108764082A (zh) * 2018-05-17 2018-11-06 淘然视界(杭州)科技有限公司 一种飞机目标检测方法、电子设备、存储介质及系统
CN109753999A (zh) * 2018-12-21 2019-05-14 西北工业大学 针对任意视角汽车图片的细粒度车型识别方法
CN109919106A (zh) * 2019-03-11 2019-06-21 同济大学 渐进式目标精细识别与描述方法
CN110689091A (zh) * 2019-10-18 2020-01-14 中国科学技术大学 弱监督细粒度物体分类方法
CN111144422A (zh) * 2019-12-19 2020-05-12 华中科技大学 一种飞机部件的定位识别方法和系统
CN112132004A (zh) * 2020-09-21 2020-12-25 南水北调中线信息科技有限公司 一种基于多视角特征融合的细粒度图像识别方法
CN112668441A (zh) * 2020-12-24 2021-04-16 中国电子科技集团公司第二十八研究所 一种结合先验知识的卫星遥感影像飞机目标识别方法
CN112966555A (zh) * 2021-02-02 2021-06-15 武汉大学 一种基于深度学习和部件先验的遥感影像飞机识别方法
CN112906605A (zh) * 2021-03-05 2021-06-04 南京航空航天大学 一种高准确率的跨模态行人重识别方法
CN113255793A (zh) * 2021-06-01 2021-08-13 之江实验室 一种基于对比学习的细粒度舰船识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A New Benchmark and an Attribute-Guided Multilevel Feature Representation Network for Fine-Grained Ship Classification in Optical Remote Sensing Images;Xiaohan Zhang等;《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》;20200323;第13卷;1271-1285 *
Non-locally Enhanced Feature Fusion Network for Aircraft Recognition in Remote Sensing Images;Yunsheng Xiong等;《remote sensing》;20200219;第12卷;1-23 *
REMOTE SENSING IMAGES FEATURE LEARNING BASED ON MULTI-BRANCH NETWORKS;Chao Liu等;《IEEE International Geoscience and Remote Sensing Symposium》;20201231;2057-2060 *
基于深度学习的行人重识别;王俊杰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210215(第02期);I138-1004 *
复杂环境大场景SAR图像飞机目标快速检测;赵琰等;《电波科学学报》;20201231;第35卷(第4期);594-602 *
遥感图像飞机目标检测方法研究;张晨露;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20200515(第05期);C028-30 *

Also Published As

Publication number Publication date
CN113705489A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN109934293B (zh) 图像识别方法、装置、介质及混淆感知卷积神经网络
CN111079683A (zh) 基于卷积神经网络的遥感图像云雪检测方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN107784288A (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN112861575A (zh) 一种行人结构化方法、装置、设备和存储介质
CN115294332B (zh) 一种图像处理方法、装置、设备和存储介质
US11948078B2 (en) Joint representation learning from images and text
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN111126155B (zh) 一种基于语义约束生成对抗网络的行人再识别方法
Zhao et al. Research on detection method for the leakage of underwater pipeline by YOLOv3
CN114639101A (zh) 一种乳状液液滴识别系统、方法、计算机设备及存储介质
CN114565798A (zh) 基于铁谱图像分析的动力装置磨损故障诊断方法及系统
CN111832463A (zh) 一种基于深度学习的交通标志检测方法
CN113705489B (zh) 基于先验区域知识指导的遥感影像细粒度飞机识别方法
Huang et al. Receptive field fusion RetinaNet for object detection
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法
Nayan et al. Real time multi-class object detection and recognition using vision augmentation algorithm
CN110688880A (zh) 一种基于精简ResNet残差网络的车牌识别方法
CN115049546A (zh) 样本数据处理方法、装置、电子设备及存储介质
Wang et al. Sonar Objective Detection Based on Dilated Separable Densely Connected CNNs and Quantum‐Behaved PSO Algorithm
Javed Mehedi Shamrat et al. Human Face recognition using eigenface, SURF method
CN112287929A (zh) 基于特征集成深度学习网络的遥感图像显著性分析方法
Tsekhmystro et al. Study of methods for searching and localizing objects in images from aircraft using convolutional neural networks
CN118038451B (zh) 开放世界果实检测模型构建方法、检测方法及电子设备
CN116012656B (zh) 样本图像的生成方法和图像处理模型的训练方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant