CN111414951B - 用于图像的细分类方法及装置 - Google Patents

用于图像的细分类方法及装置 Download PDF

Info

Publication number
CN111414951B
CN111414951B CN202010181282.5A CN202010181282A CN111414951B CN 111414951 B CN111414951 B CN 111414951B CN 202010181282 A CN202010181282 A CN 202010181282A CN 111414951 B CN111414951 B CN 111414951B
Authority
CN
China
Prior art keywords
feature
aircraft
classification
remote sensing
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010181282.5A
Other languages
English (en)
Other versions
CN111414951A (zh
Inventor
牛新
曾妍庆
窦勇
姜晶菲
李荣春
苏华友
乔鹏
潘衡岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202010181282.5A priority Critical patent/CN111414951B/zh
Publication of CN111414951A publication Critical patent/CN111414951A/zh
Application granted granted Critical
Publication of CN111414951B publication Critical patent/CN111414951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于图像的细分类方法及装置，方法包括：将遥感图像输入已训练的基础分类网络，以由所述基础分类网络输出所述遥感图像上的飞行器的第一类别；根据易混淆类别与决策码的对应关系，获取所述第一类别对应的决策码；基于所述决策码所对应的分类策略对所述遥感图像上的飞行器进行分类，得到飞行器的第二类别。本申请在使用基础分类网络分析出遥感图像上的飞行器的类别后，如果该类别为易混淆类别，可以从已建立好的不同混淆类别与决策码的对应关系中，获得该类别对应的决策码，并基于该决策码对应的分类策略有分析有针对性的分析遥感图像上的飞行器的类别，降低混淆程度，从而提升图像分类的效率。

Description

用于图像的细分类方法及装置
技术领域
本发明涉及图像处理技术领域，具体涉及一种用于图像的细分类方法及装置。
背景技术
在计算机视觉中，图像细粒度分类是图像分类领域下的进一步细分，图像细粒度分类任务相对于通用图像分类任务的区别在于细粒度分类是对大类别下的子类别进行分类，图像所属类别的粒度更为精细。例如，通用图像分类任务是将“袋鼠”和“狗”，从比较容易区分的外貌、形态等方面将这两个物体大类区分开；而细粒度分类的任务则是对“狗”这类大类别下的子类别进行区分，例如需要区分“金毛犬”和“阿拉斯加犬”。正因同大类别下的不同子类往往仅在耳朵形状或是毛发发色等细微处存在差异，细粒度分类任务的难度和挑战是较为巨大的。对两个极为相似的物种进行细粒度分类，最重要的是在图像中找到能够区分这两个物种的区分性的部位，并能够对这些有区分性的部位的特征进行较好的表示。
由于深度卷积神经网络强大的图像特征表征能力，目前现有的细粒度分类方法都是以深度卷积神经网络为基础的，主要分为三类方法：①基于常规图像分类网络的微调方法②基于目标块检测的方法③基于注意力机制的方法。而目前主流的细粒度分类方法没有在遥感图像上的飞行器的应用。
发明内容
本发明的目的是针对上述现有技术的不足提出的一种用于图像的细分类方法及装置，该目的是通过以下技术方案实现的。
本发明的第一方面提出了一种用于图像的细分类方法，所述方法包括：
将遥感图像输入已训练的基础分类网络，以由所述基础分类网络输出所述遥感图像上的飞行器的第一类别；
根据易混淆类别与决策码的对应关系，获取所述第一类别对应的决策码；
基于所述决策码所对应的分类策略对所述遥感图像上的飞行器进行分类，得到飞行器的第二类别。
本发明的第二方面提出了一种用于图像的细分类装置，所述装置包括：
第一分类模块，用于将遥感图像输入已训练的基础分类网络，以由所述基础分类网络输出所述遥感图像上的飞行器的第一类别；
查找模块，用于根据易混淆类别与决策码的对应关系，获取所述第一类别对应的决策码；
第二分类模块，用于基于所述决策码所对应的分类策略对所述遥感图像上的飞行器进行分类，得到飞行器的第二类别。
在本申请实施例中，在使用基础分类网络分析出遥感图像上的飞行器的类别后，如果该类别为易混淆类别，可以根据不同混淆类别与决策码的对应关系，获得该类别对应的决策码，并基于该决策码对应的分类策略有分析有针对性的分析遥感图像上的飞行器的类别，降低混淆程度，从而提升图像分类的效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明根据一示例性实施例示出的一种用于图像的细分类方法的实施例流程图；
图2为本发明示出的一种易混淆类别的进一步分类结构示意图；
图3为本发明根据一示例性实施例示出的一种用于图像的细分类装置的实施例流程图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
目前常用的三种细粒度分类方法均存在各自的缺点，如下：
基于常规图像分类网络的微调方法，利用迁移学习理论，将大规模数据上预训练好的网络迁移到细粒度分类识别任务中来，通过在细粒度分类数据集上对网络的权值进行微调，得到最终的分类网络，但微调通常比较依赖前期的预训练模型，若预训练使用的数据集与细粒度分类数据集没有相关性的话，那后期微调效果会大打折扣；
基于目标块检测的方法，基于目标块检测的方法思路是：先在图像中检测出目标所在的位置，然后再检测出目标中有区分性区域的位置，然后将目标图像以及具有区分性的目标区域块同时送入深度卷积网络进行分类。但是基于目标块检测的方法，往往在训练过程中需要用到目标的检测框作为标注信息，甚至是目标图像中的关键特征点信息，而在实际应用中，要想获取到这些标注信息是非常困难的。
基于注意力机制的方法，通过快速扫描全局图像获得需要关注的目标区域，而后抑制其他无用信息以获取感兴趣的目标。注意力机制需要决定整段输入的哪个部分需要更加关注，然后从关键的部分进行特征提取，得到重要的信息，然后得到分类结果。虽然可以在不需要额外标注信息的情况下，定位出图像中有区分性的区域，但是定位的准确性仍然是比较依赖基础深度卷积网络得到的图像特征。
然而，这些主流的细粒度分类方法都是应用在鸟类的数据集上，而没有在遥感图像上的飞行器的应用。
为解决上述技术问题，本发明提出一种对遥感图像上的飞行器进行用于图像的细分类的方法，通过将遥感图像输入已训练的基础分类网络，以由所述基础分类网络输出所述遥感图像上的飞行器的第一类别，然后可以根据易混淆类别与决策码的对应关系，获取所述第一类别对应的决策码，并基于所述决策码所对应的分类策略对所述遥感图像上的飞行器进行分类，得到精确的飞行器类别。
基于上述描述可知，在使用基础分类网络分析出遥感图像上的飞行器的类别后，如果该类别为易混淆类别，可以从已建立好的不同混淆类别与决策码的对应关系中，获得该类别对应的决策码，并基于该决策码对应的分类策略有分析有针对性的分析遥感图像上的飞行器的类别，降低混淆程度，从而提升图像分类的效率。
下面以具体实施例对本发明提出的用于图像的细分类方法进行详细阐述。
图1为本发明根据一示例性实施例示出的一种用于图像的细分类方法的实施例流程图，所述用于图像的细分类方法可以应用于电子设备(如PC机、终端等设备)，如图1所示，所述用于图像的细分类方法包括如下步骤：
步骤101：将遥感图像输入已训练的基础分类网络，以由所述基础分类网络输出所述遥感图像上的飞行器的第一类别。
在执行步骤101之前，需要预先训练基础分类网络，针对基础分类网络的构建过程：可以将在ImageNet大规模图像数据集上预训练好的VGG-16网络作为基础分类网络，并将网络中最后一层全连接层的输出维度改为飞行器的种类数量(如53种)，其它层的结构和参数作为初始参数，从而构建得到基础分类网络。
其中，飞行器的种类数量为本发明要识别的所有飞行器类型。
针对基础分类网络的训练过程：获取飞行器遥感图像样本集，并利用样本集中的飞行器遥感图像训练已构建的基础分类网络，以对网络中的网络参数进行微调，得到最终的基础分类网络。
在一个例子中，可以通过从谷歌地球上下载每类机型的遥感图像，并制作成Pascal VOC数据集的格式，划分好训练样本和测试样本，本发明涉及的飞行器遥感图像数据集包含53类飞行器类别，每个类别包含20-30帧遥感图像。
在一些实施例中，可以通过将每帧遥感图像归一化为固定尺寸，并对数据集通过旋转、平移、镜像、模糊、随机裁剪等操作进行数据扩充，以避免数据量少和数据不平衡的问题。
由此可见，将遥感图像输入已训练的基础分类网络可以获得初步的飞行器类别。
步骤102：根据易混淆类别与决策码的对应关系，获取所述第一类别对应的决策码。
在执行步骤102之前，需要预先建立易混淆类别与决策码的对应关系，建立过程包括：获取飞行器的遥感图像样本集，针对所述样本集中的每一样本，将该样本输入已训练的基础分类网络，以由所述基础分类网络分析该样本中的飞行器属于所有类别的概率，并获取所述基础分类网络分析得到的所有类别的概率，然后依据每一样本中的飞行器属于所有类别的概率建立所有类别的混淆矩阵；所述混淆矩阵中的每一元素表示两个类别间的混淆概率，并利用所述混淆矩阵划分混淆社区，每个混淆社区包含多个易混淆类别，最后针对每个混淆社区，确定该混淆社区中易混淆类别的混淆原因，并获取所述混淆原因所对应的决策码，并建立该混淆社区包含的多个易混淆类别与所述决策码的对应关系。
其中，飞行器的遥感图像样本集可以采用上述步骤101中所使用的飞行器遥感图像样本集中划分出的训练样本。
下面以飞行器的种类包括53类为例进行详细说明对应关系的建立过程：
将样本集中每一遥感图像输入基础分类网络，并获取该遥感图像属于每一类别的概率，依据每一样本上的飞行器属于所有类别的概率建立所有类别的混淆矩阵，即53*53的混淆矩阵。其中，混淆矩阵中的每一元素表示类别对的混淆概率，其中类别对的混淆概率大于 0.75，表示该类别对容易混淆。
将该混淆矩阵输入社区发现算法，由社区发现算法对53类的混淆矩阵进行分析，分析混淆类别对与混淆类别对之间的联系与区别，最后输出划分得到的多个混淆社区。其中，每一混淆社区中包含的类别均是互相之间易混淆的类别。需要说明的是，这53个类别中，有可能存在不属于易混淆的类别，对于这种类别不会被划分到任何混淆社区。
针对每个混淆社区，分析出该混淆社区中易混淆类别的混淆原因。
其中，混淆原因包括主体不明确、类间特征距离不明确、引擎数量不明确中的一种或多种的组合。针对主体不明确的混淆原因可以采用分割掩码约束策略，针对类间特征距离不明确的混淆原因可以采用特征度量约束策略，针对引擎数量不明确的混淆原因可以采用引擎数量约束策略。
其中，针对主体不明确的混淆原因，指的是将属于混淆社区包含的易混淆类别的遥感图像输入已训练的基础分类网络，针对分类错误的遥感图像，将其权重在网络中反向传播，并通过热力图来展示该网络重点关注图像的哪一部分，假如热力图显示的重要部位在飞行器的范围内，则认为该网络学习到该关注的重点部位，假如热力图显示的重要部位在图像的背景区域，则认为该网络没有关注到重点部位，所以针对该混淆社区包含的易混淆类别存在主体不明确的混淆原因，通过添加分割掩码约束策略，强行对背景的关注转移到飞行器的部位上。
针对类间特征距离不明确的混淆原因，指的是将属于混淆社区包含的易混淆类别的遥感图像输入已训练的基础分类网络，针对分类错误的遥感图像，通过基础分类网络中的分类部分提取到遥感图像的高维特征，如果发现，在类别与类别的层次上，分类错误的遥感图像特征之间距离较小，分类部分在此基础上无法完全的将不同类别准确分类，所以针对该混淆社区包含的易混淆类别存在类间特征距离不明确的混淆原因，通过增加特征度量约束策略，使得同类机型的飞行器图像在特征空间上的距离较近，不同类机型的飞行器图像在特征空间上的距离较远。
针对引擎数量不明确的混淆原因，指的是指的是将属于混淆社区包含的易混淆类别的遥感图像输入已训练的基础分类网络，针对分类错误的遥感图像，判断失误的原因有一种情况出现较多，即因为有几对机型外形较为相似，两者的区别仅有引擎数据的区别，而这一种是不容易被网络关注到，因此得出针对该混淆社区包含的易混淆类别存在引擎数量不明确的混淆原因，通过增加引擎数量约束策略，使得这一类的错误分类数量有效降低。
定义决策码：由于上述混淆原因有三种，且每一种原因对应的一种策略，因此定义三位的决策码，即第一位表示是否需要增加分割掩码约束策略，第二位表示是否需要增加引擎数量约束策略，第三位表示是否需要增加特征度量约束策略。
根据上述分析得到的每个混淆社区存在的混淆原因，决定每个混淆社区对应的决策码，并建立对应关系。
假设在决策码中1表示需要，0表示不需要，如果混淆社区包含的易混淆类别存在的混淆原因有主体不明确、引擎数量不明确，则该混淆社区对应的决策码为110。
由上述描述可知，由于一个混淆社区通常包含多个易混淆类别，因此该混淆社区包含的类别均与同一个决策码对应。
需要说明的是，如果基础分类网络输出的第一类别，不存在与决策码的对应关系，表示该第一类别为不易混淆的类别，可以直接将该第一类别确定为遥感图像中飞行器的最终类别。
步骤103：基于所述决策码所对应的分类策略对所述遥感图像上的飞行器进行分类，得到飞行器的第二类别。
参见图2所示，步骤103可以包括如下步骤：
步骤201：根据决策码判断是否需要增加分割掩码约束，若是，则执行步骤202后再执行步骤203，否则直接跳到执行步骤203。
基于上述步骤102所述，若决策码中的第一位为1，则需要增加分割掩码约束，否则不需要增加分割掩码约束。
步骤202：获取遥感图像的分割掩码图，并将分割掩码图与遥感图像做相乘运算，以去掉遥感图像中的背景。
步骤203：将遥感图像或经过运算的遥感图像输入已训练的特征提取模块，并获取特征提取模块输出的飞行器特征图。
其中，特征提取模块由多层卷积层组成。
步骤204：根据决策码判断是否需要增加引擎数量约束，若是，则执行步骤205后再执行步骤206，否则直接跳到执行步骤206。
基于上述步骤102所述，若决策码中的第二位为1，则需要增加引擎数量约束，若决策码中的第二位为0，则不需要增加引擎数量约束。
步骤205：获取特征提取模块中底层卷积层提取的引擎特征图，并将飞行器特征图与引擎特征图按维度相加，得到新的飞行器特征图。
其中，通过使用工具查看特征提取模块中每一层卷积层提取到的的图形特征可以发现，底层卷积层提取到的大部分是图像颜色、轮廓等信息，高层卷积层则是提取到的更高层的语义特征，为了提取到较好的引擎数量特征，可以选择两个卷积层后的输出作为引擎特征图。
步骤206：根据决策码判断是否需要增加特征度量约束，若是，则执行步骤208，否则执行步骤207。
基于上述步骤102所述，若决策码中的第三位为1，则需要增加特征度量约束，若决策码中的第三位为0，则不需要增加特征度量约束。
步骤207：将飞行器特征图或者新的飞行器特征图输入已训练的第二特征分类模块，以由第二特征分类模块进行分类，得到飞行器的第二类别。
其中，第二特征分类模块为没有引入特征度量约束的分类部分，为了提升第二特征分类模块的分类精准度，在训练第二特征分类模块时引入引擎数量约束，并且在训练特征提取模块时引入分割掩码约束。
基于此，针对特征提取模块和第二特征分类模块的训练过程可以是：获取飞行器的遥感图像样本集，针对所述样本集中每一遥感图像，获取该遥感图像的分割掩码图，并将分割掩码图与该遥感图像做相乘运算，以去掉遥感图像中的背景，然后利用经过运算的遥感图像训练已构建的特征提取模块和第二特征分类模块。
需要说明的是，在训练过程中，通过引入引擎数量约束策略训练第二特征分类模块，并且所述第二特征分类模块使用的损失函数为交叉熵损失函数，公式(1)如下：
其中，M表示类别数量；N表示一个batch的样本数量；yic表示变量(0或1)，该类别与样本类别i相同则为1，不同则为0；pic表示样本i属于类别c的概率。
步骤208：将飞行器特征图或者新的飞行器特征图输入已训练的第一特征分类模块，以由第一特征分类模块进行分类，得到飞行器的第二类别。
其中，第一特征分类模块为引入特征度量约束的分类部分，为了提升第一特征分类模块的分类精准度，在训练第一特征分类模块时固定训练好的特征提取模块中的网络参数，并也引入引擎数量约束。
基于此，针对第一特征分类模块的训练过程可以是：将经过运算的遥感图像输入训练好的特征提取模块，并获取所述特征提取模块输出的飞行器特征图，获取所述特征提取模块中底层卷积层提取的引擎特征图，并将所述飞行器特征图与所述引擎特征图按维度相加，得到新的飞行器特征图，最后利用新的飞行器特征图训练已构建的第一特征分类模块；
需要说明的是，在训练过程中，通过引入引擎数量约束策略训练第一特征分类模块，并且所述第一特征分类模块使用的损失函数为交叉熵损失函数和三元组损失函数的组合，公式(2)如下：
Ltotal＝γLsf+θL(A,P,N)
其中，γ,θ表示比例系数，且θ+γ＝1，Lsf表示交叉熵损失函数，见上述公式(1)；L(A,P,N)表示三元组损失函数，公式(3)如下：
L(A,P,N)＝max(d(A,P)-d(A,N)+α,0)
其中，xi和yi均表示特征，n表示特征维度；α为控制类别之间距离的阈值。
针对三元组损失函数，每次需要向网络输入三张图片，输入的三张图片可以抽象为每次输入所需的三个元素:基准样本A(Anchor)，正样本P(Positive)，负样本N(Negative)。正样本与基准样本属于同一类别，负样本与基准样本不属于同一类别即可。
基准样本与正样本组成正样本对，基准样本与负样本组成负样本对，(A,P,N)构成三元组，通过三元组损失函数不断优化，使得正样本对逐渐靠近，而负样本对逐渐远离。
在本实施例中，在使用基础分类网络分析出遥感图像上的飞行器的类别后，如果该类别为易混淆类别，可以从已建立好的不同混淆类别与决策码的对应关系中，获得该类别对应的决策码，并基于该决策码对应的分类策略有分析有针对性的分析遥感图像上的飞行器的类别，降低混淆程度，从而提升图像分类的效率。
图3为本发明根据一示例性实施例示出的一种用于图像的细分类装置的实施例流程图，所述用于图像的细分类装置可以应用于电子设备，如图3所示，所述用于图像的细分类装置包括：
第一分类模块310，用于将遥感图像输入已训练的基础分类网络，以由所述基础分类网络输出所述遥感图像上的飞行器的第一类别；
查找模块320，用于根据易混淆类别与决策码的对应关系，获取所述第一类别对应的决策码；
第二分类模块330，用于基于所述决策码所对应的分类策略对所述遥感图像上的飞行器进行分类，得到飞行器的第二类别。
在一可选实现方式中，所述装置还包括(图3中未示出)：
建立模块，用于获取飞行器的遥感图像样本集；针对所述样本集中的每一样本，将该样本输入已训练的基础分类网络，以由所述基础分类网络分析该样本上的飞行器属于所有类别的概率，并获取所述基础分类网络分析得到的所有类别的概率；依据每一样本上的飞行器属于所有类别的概率建立所有类别的混淆矩阵；所述混淆矩阵中的每一元素表示两个类别间的混淆概率；利用所述混淆矩阵划分混淆社区，每个混淆社区包含多个易混淆类别；针对每个混淆社区，确定该混淆社区中易混淆类别的混淆原因，并获取所述混淆原因所对应的决策码；建立该混淆社区包含的多个易混淆类别与所述决策码的对应关系。
在一可选实现方式中，所述第二分类模块330，具体用于若所述决策码所对应的分类策略包含分割掩码约束策略，则获取所述遥感图像的分割掩码图，并将分割掩码图与遥感图像做相乘运算，以去掉遥感图像中的背景，并将经过运算的遥感图像输入已训练的特征提取模块，并获取所述特征提取模块输出的飞行器特征图；若所述决策码所对应的分类策略包含引擎数量约束策略，则获取所述特征提取模块中底层卷积层提取的引擎特征图，并将所述飞行器特征图与所述引擎特征图按维度相加，得到新的飞行器特征图；若所述决策码所对应的分类策略包含特征度量约束策略，则将所述新的飞行器特征图输入已训练的第一特征分类模块，以由所述第一特征分类模块基于新的飞行器特征图进行分类，得到飞行器的第二类别。
在一可选实现方式中，所述第二分类模块330，还具体用于若所述决策码所对应的分类策略不包含分割掩码约束策略，则将所述遥感图像输入已训练的特征提取模块，并获取所述特征提取模块输出的飞行器特征图；若所述决策码所对应的分类策略不包含引擎数量约束策略和特征度量约束策略，则将所述飞行器特征图输入已训练的第二特征分类模块，以由所述第二特征分类模块基于所述飞行器特征图进行分类，得到飞行器的第二类别；若所述决策码所对应的分类策略不包含引擎数量约束策略但包含特征度量约束策略，则将所述飞行器特征图输入已训练的第一特征分类模块，以由所述第一特征分类模块基于所述飞行器特征图进行分类，得到飞行器的第二类别；若所述决策码所对应的分类策略包含引擎数量约束策略但不包含特征度量约束策略，则获取所述特征提取模块中底层卷积层提取的引擎特征图，并将所述飞行器特征图与所述引擎特征图按维度相加，得到新的飞行器特征图；将所述新的飞行器特征图输入已训练的第二特征分类模块，以由所述第二特征分类模块基于所述新的飞行器特征图进行分类，得到飞行器的第二类别。
在一可选实现方式中，所述装置还包括(图3中未示出)：
训练模块，用于获取飞行器的遥感图像样本集；针对所述样本集中每一遥感图像，获取该遥感图像的分割掩码图，并将分割掩码图与该遥感图像做相乘运算，以去掉遥感图像中的背景；利用经过运算的遥感图像训练已构建的特征提取模块和第二特征分类模块；其中，在训练过程中，通过引入引擎数量约束策略训练第二特征分类模块，并且所述第二特征分类模块使用的损失函数为交叉熵损失函数。
在一可选实现方式中，所述第一特征分类模块的训练过程包括：
所述训练模块，还用于将经过运算的遥感图像输入训练好的特征提取模块，并获取所述特征提取模块输出的飞行器特征图；获取所述特征提取模块中底层卷积层提取的引擎特征图，并将所述飞行器特征图与所述引擎特征图按维度相加，得到新的飞行器特征图；利用新的飞行器特征图训练已构建的第一特征分类模块；其中，在训练过程中，通过引入引擎数量约束策略训练第一特征分类模块，并且所述第一特征分类模块使用的损失函数为交叉熵损失函数和三元组损失函数的组合。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (8)

1.一种用于图像的细分类方法，其特征在于，所述方法包括：
将遥感图像输入已训练的基础分类网络，以由所述基础分类网络输出所述遥感图像上的飞行器的第一类别；
根据易混淆类别与决策码的对应关系，获取所述第一类别对应的决策码；
基于所述决策码所对应的分类策略对所述遥感图像上的飞行器进行分类，得到飞行器的第二类别，包括：
若所述决策码所对应的分类策略包含分割掩码约束策略，则获取所述遥感图像的分割掩码图，并将分割掩码图与遥感图像做相乘运算，以去掉遥感图像中的背景，并将经过运算的遥感图像输入已训练的特征提取模块，并获取所述特征提取模块输出的飞行器特征图；
若所述决策码所对应的分类策略包含引擎数量约束策略，则获取所述特征提取模块中底层卷积层提取的引擎特征图，并将所述飞行器特征图与所述引擎特征图按维度相加，得到新的飞行器特征图；
若所述决策码所对应的分类策略包含特征度量约束策略，则将所述新的飞行器特征图输入已训练的第一特征分类模块，以由所述第一特征分类模块基于新的飞行器特征图进行分类，得到飞行器的第二类别。
2.根据权利要求1所述的方法，其特征在于，根据易混淆类别与决策码的对应关系，获取所述第一类别对应的决策码之前，包括：
获取飞行器的遥感图像样本集；
针对所述样本集中的每一样本，将该样本输入已训练的基础分类网络，以由所述基础分类网络分析该样本上的飞行器属于所有类别的概率，并获取所述基础分类网络分析得到的所有类别的概率；
依据每一样本上的飞行器属于所有类别的概率建立所有类别的混淆矩阵；所述混淆矩阵中的每一元素表示两个类别间的混淆概率；
利用所述混淆矩阵划分混淆社区，每个混淆社区包含多个易混淆类别；
针对每个混淆社区，确定该混淆社区中易混淆类别的混淆原因，并获取所述混淆原因所对应的决策码；
建立该混淆社区包含的多个易混淆类别与所述决策码的对应关系。
3.根据权利要求1所述的方法，其特征在于，基于所述决策码所对应的分类策略对所述遥感图像上的飞行器进行分类，得到飞行器的第二类别，包括：
若所述决策码所对应的分类策略不包含分割掩码约束策略，则将所述遥感图像输入已训练的特征提取模块，并获取所述特征提取模块输出的飞行器特征图；
若所述决策码所对应的分类策略不包含引擎数量约束策略和特征度量约束策略，则将所述飞行器特征图输入已训练的第二特征分类模块，以由所述第二特征分类模块基于所述飞行器特征图进行分类，得到飞行器的第二类别；
若所述决策码所对应的分类策略不包含引擎数量约束策略但包含特征度量约束策略，则将所述飞行器特征图输入已训练的第一特征分类模块，以由所述第一特征分类模块基于所述飞行器特征图进行分类，得到飞行器的第二类别；
若所述决策码所对应的分类策略包含引擎数量约束策略但不包含特征度量约束策略，则获取所述特征提取模块中底层卷积层提取的引擎特征图，并将所述飞行器特征图与所述引擎特征图按维度相加，得到新的飞行器特征图；将所述新的飞行器特征图输入已训练的第二特征分类模块，以由所述第二特征分类模块基于所述新的飞行器特征图进行分类，得到飞行器的第二类别。
4.根据权利要求3所述的方法，其特征在于，所述特征提取模块和所述第二特征分类模块的训练过程包括：
获取飞行器的遥感图像样本集；
针对所述样本集中每一遥感图像，获取该遥感图像的分割掩码图，并将分割掩码图与该遥感图像做相乘运算，以去掉遥感图像中的背景；
利用经过运算的遥感图像训练已构建的特征提取模块和第二特征分类模块；
其中，在训练过程中，通过引入引擎数量约束策略训练第二特征分类模块，并且所述第二特征分类模块使用的损失函数为交叉熵损失函数。
5.根据权利要求4所述的方法，其特征在于，所述第一特征分类模块的训练过程包括：
将经过运算的遥感图像输入训练好的特征提取模块，并获取所述特征提取模块输出的飞行器特征图；
获取所述特征提取模块中底层卷积层提取的引擎特征图，并将所述飞行器特征图与所述引擎特征图按维度相加，得到新的飞行器特征图；
利用新的飞行器特征图训练已构建的第一特征分类模块；
其中，在训练过程中，通过引入引擎数量约束策略训练第一特征分类模块，并且所述第一特征分类模块使用的损失函数为交叉熵损失函数和三元组损失函数的组合。
6.一种用于图像的细分类装置，其特征在于，所述装置包括：
第一分类模块，用于将遥感图像输入已训练的基础分类网络，以由所述基础分类网络输出所述遥感图像上的飞行器的第一类别；
查找模块，用于根据易混淆类别与决策码的对应关系，获取所述第一类别对应的决策码；
第二分类模块，用于基于所述决策码所对应的分类策略对所述遥感图像上的飞行器进行分类，得到飞行器的第二类别；
所述第二分类模块，具体用于若所述决策码所对应的分类策略包含分割掩码约束策略，则获取所述遥感图像的分割掩码图，并将分割掩码图与遥感图像做相乘运算，以去掉遥感图像中的背景，并将经过运算的遥感图像输入已训练的特征提取模块，并获取所述特征提取模块输出的飞行器特征图；若所述决策码所对应的分类策略包含引擎数量约束策略，则获取所述特征提取模块中底层卷积层提取的引擎特征图，并将所述飞行器特征图与所述引擎特征图按维度相加，得到新的飞行器特征图；若所述决策码所对应的分类策略包含特征度量约束策略，则将所述新的飞行器特征图输入已训练的第一特征分类模块，以由所述第一特征分类模块基于新的飞行器特征图进行分类，得到飞行器的第二类别。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
建立模块，用于获取飞行器的遥感图像样本集；针对所述样本集中的每一样本，将该样本输入已训练的基础分类网络，以由所述基础分类网络分析该样本上的飞行器属于所有类别的概率，并获取所述基础分类网络分析得到的所有类别的概率；依据每一样本上的飞行器属于所有类别的概率建立所有类别的混淆矩阵；所述混淆矩阵中的每一元素表示两个类别间的混淆概率；利用所述混淆矩阵划分混淆社区，每个混淆社区包含多个易混淆类别；针对每个混淆社区，确定该混淆社区中易混淆类别的混淆原因，并获取所述混淆原因所对应的决策码；建立该混淆社区包含的多个易混淆类别与所述决策码的对应关系。
8.根据权利要求6所述的装置，其特征在于，所述第二分类模块，还具体用于若所述决策码所对应的分类策略不包含分割掩码约束策略，则将所述遥感图像输入已训练的特征提取模块，并获取所述特征提取模块输出的飞行器特征图；若所述决策码所对应的分类策略不包含引擎数量约束策略和特征度量约束策略，则将所述飞行器特征图输入已训练的第二特征分类模块，以由所述第二特征分类模块基于所述飞行器特征图进行分类，得到飞行器的第二类别；若所述决策码所对应的分类策略不包含引擎数量约束策略但包含特征度量约束策略，则将所述飞行器特征图输入已训练的第一特征分类模块，以由所述第一特征分类模块基于所述飞行器特征图进行分类，得到飞行器的第二类别；若所述决策码所对应的分类策略包含引擎数量约束策略但不包含特征度量约束策略，则获取所述特征提取模块中底层卷积层提取的引擎特征图，并将所述飞行器特征图与所述引擎特征图按维度相加，得到新的飞行器特征图；将所述新的飞行器特征图输入已训练的第二特征分类模块，以由所述第二特征分类模块基于所述新的飞行器特征图进行分类，得到飞行器的第二类别。
CN202010181282.5A 2020-03-16 2020-03-16 用于图像的细分类方法及装置 Active CN111414951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010181282.5A CN111414951B (zh) 2020-03-16 2020-03-16 用于图像的细分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010181282.5A CN111414951B (zh) 2020-03-16 2020-03-16 用于图像的细分类方法及装置

Publications (2)

Publication Number Publication Date
CN111414951A CN111414951A (zh) 2020-07-14
CN111414951B true CN111414951B (zh) 2023-09-08

Family

ID=71492948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010181282.5A Active CN111414951B (zh) 2020-03-16 2020-03-16 用于图像的细分类方法及装置

Country Status (1)

Country Link
CN (1) CN111414951B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308090B (zh) * 2020-09-21 2024-06-18 北京沃东天骏信息技术有限公司 图像分类方法及装置
CN113569986B (zh) * 2021-08-18 2023-06-30 网易（杭州）网络有限公司 计算机视觉数据分类方法、装置、电子设备及存储介质
CN115170503B (zh) * 2022-07-01 2023-12-19 上海市第一人民医院 基于决策规则和深度神经网络的眼底图像视野分类方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109557533A (zh) * 2018-11-28 2019-04-02 中国人民解放军国防科技大学 一种基于模型的联合跟踪与识别方法
CN109934293A (zh) * 2019-03-15 2019-06-25 苏州大学 图像识别方法、装置、介质及混淆感知卷积神经网络

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9625720B2 (en) * 2012-01-24 2017-04-18 Accipiter Radar Technologies Inc. Personal electronic target vision system, device and method
US20140241618A1 (en) * 2013-02-28 2014-08-28 Hewlett-Packard Development Company, L.P. Combining Region Based Image Classifiers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109557533A (zh) * 2018-11-28 2019-04-02 中国人民解放军国防科技大学 一种基于模型的联合跟踪与识别方法
CN109934293A (zh) * 2019-03-15 2019-06-25 苏州大学 图像识别方法、装置、介质及混淆感知卷积神经网络

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jianping, Fan,et al..Hierarchical Learning of Tree Classifiers for Large-Scale Plant Species Identification.《IEEE transactions on image processing : a publication of the IEEE Signal Processing Society》.2015,全文. *

Also Published As

Publication number Publication date
CN111414951A (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
CN108108657B (zh) 基于多任务深度学习的修正局部敏感哈希车辆检索方法
CN106909924B (zh) 一种基于深度显著性的遥感影像快速检索方法
CN110717534B (zh) 一种基于网络监督的目标分类和定位方法
CN111414951B (zh) 用于图像的细分类方法及装置
CN109993102B (zh) 相似人脸检索方法、装置及存储介质
CN110738247B (zh) 一种基于选择性稀疏采样的细粒度图像分类方法
CN109871875B (zh) 一种基于深度学习的建筑物变化检测方法
EP3690741B1 (en) Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same
CN107256017B (zh) 路线规划方法及系统
CN109815979B (zh) 一种弱标签语义分割标定数据生成方法及系统
US9858503B2 (en) Acceleration of linear classifiers
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN112132014A (zh) 基于非督导金字塔相似性学习的目标重识别方法及系统
CN113705570B (zh) 一种基于深度学习的少样本目标检测方法
CN113360701A (zh) 一种基于知识蒸馏的素描图处理方法及其系统
CN108734200B (zh) 基于bing特征的人体目标视觉检测方法和装置
CN113761259A (zh) 一种图像处理方法、装置以及计算机设备
CN112766218B (zh) 基于非对称联合教学网络的跨域行人重识别方法和装置
CN111985325A (zh) 特高压环境评价中的航拍小目标快速识别方法
CN117011616A (zh) 一种图像内容审核方法、装置、存储介质和电子设备
CN116977633A (zh) 地物要素分割模型训练方法、地物要素分割方法及装置
CN115082781A (zh) 一种舰船图像检测方法、装置以及存储介质
CN113298042B (zh) 遥感影像数据的处理方法及装置、存储介质、计算机设备
CN112015937B (zh) 一种图片地理定位方法及系统
CN117423001A (zh) 基于改进ssd的岩石岩性识别方法与系统、存储介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant