CN106845496B - 精细目标识别方法和系统 - Google Patents

精细目标识别方法和系统 Download PDF

Info

Publication number
CN106845496B
CN106845496B CN201611271124.9A CN201611271124A CN106845496B CN 106845496 B CN106845496 B CN 106845496B CN 201611271124 A CN201611271124 A CN 201611271124A CN 106845496 B CN106845496 B CN 106845496B
Authority
CN
China
Prior art keywords
recognized
images
image
target
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611271124.9A
Other languages
English (en)
Other versions
CN106845496A (zh
Inventor
周建设
张勇东
姚涵涛
张曦珊
史金生
刘杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capital Normal University
Original Assignee
Capital Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capital Normal University filed Critical Capital Normal University
Priority to CN201611271124.9A priority Critical patent/CN106845496B/zh
Publication of CN106845496A publication Critical patent/CN106845496A/zh
Application granted granted Critical
Publication of CN106845496B publication Critical patent/CN106845496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种精细目标识别方法和系统，涉及图像处理技术领域，其中，提取待识别图像的特征描述，生成目标显著图；通过所述目标显著图对所述待识别图像进行处理，得到所述待识别图像的目标候选区域；检索所述待识别图像的K近邻图像，并对所述K近邻图像进行处理，得到所述K近邻图像的目标候选区域；计算所述待识别图像的目标候选区域和所述K近邻图像的目标候选区域的相似度；根据所述相似度以及K近邻图像的目标候选区域之间的相似度之和，确定所述待识别图像的精细目标区域。从而实现不需要对待识别图像进行强标注，就能够对精细目标进行描述，节省了大量的时间和人力，提高了精细目标的识别效率。

Description

精细目标识别方法和系统
技术领域
本发明涉及图像处理领域，具体而言，涉及一种精细目标识别方法和系统。
背景技术
由于精细目标具有较小的类间差距，精确的局部描述对于精细目标识别非常重要，而传统的算法需要待识别图片中含有完备的人工标注信息，但是人工标记信息的获取是费时费力的，无法应用到大规模的实际生活中的图像识别中，因此如何更加简便随精细目标进行识别成为了一个亟待解决的问题。
相关技术主要是利用强标注对精细目标来进行识别，首先利用训练图像中的强标注信息预测得到测试图像中可能含有物体的局部区域；再利用卷积神经网络模型模型提取该局部区域的深度特征；最后进行特征融合，生成精细目标的描述。
但是，现有技术中需要对局部区域的属性和局部特征点进行强标注，在进行强标注时需要大量的时间和人力，而且只有少数小数据集提供人工强标注信息，大部分大数据集上很难提供人工标注信息，因此现有方法可移植性差。
发明内容
有鉴于此，本发明实施例的目的在于提供一种精细目标识别方法和系统，以实现在无监督的情形下，进行精细目标的检测和区分性区域的提取。
第一方面，本发明实施例提供了精细目标识别方法，所述方法包括：
提取待识别图像的特征描述，生成目标显著图；
通过所述目标显著图对所述待识别图像进行处理，得到所述待识别图像的目标候选区域；
检索所述待识别图像的K近邻图像，并对所述K近邻图像进行处理，得到所述K近邻图像的目标候选区域；
计算所述待识别图像的目标候选区域和所述K近邻图像的目标候选区域的相似度；
根据所述相似度以及K近邻图像的目标候选区域之间的相似度之和，确定所述待识别图像的精细目标区域。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，提取待识别图像的特征描述，生成目标显著图，包括：
将所述待识别图像的尺寸改变到预设尺寸；
训练DomainNet卷积神经网络模型提取预设尺寸下所述待识别图像的pool5层特征，得到所述待识别图像的特征描述；
通过所述待识别图像的特征描述对所述待识别图像进行处理，得到所述待识别图像的目标显著图。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，通过所述待识别图像的特征描述对所述待识别图像进行处理，得到所述待识别图像的目标显著图，包括：
通过以下公式计算出所述目标显著图：
其中，I表示待识别图像，mI表示目标显著图，为所述待识别图像的特征描述，i表示图像的特征描述中点的横坐标，j表示图像的特征描述中点的纵坐标，c表示特征通道，p5表示卷积神经网络DomainNet的第五层的池化特征。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，通过所述目标显著图对所述待识别图像进行处理，得到所述待识别图像的目标候选区域，包括：
根据候选区域生成算法生成所述待识别图像的候选区域；
计算所述候选区域和所述目标显著图的外接矩形的重叠度；
将重叠度大于预设重叠度阈值的候选区域确定为所述待识别图像的目标候选区域。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，计算所述待识别图像的目标候选区域和所述K近邻图像的目标候选区域相似度，包括：
通过以下公式计算所述相似度：
其中，DTN(bI)表示所述待识别图像的目标候选区域bI与所述K近邻图像的目标候选区域的相似度之和，表示所有所述K近邻图像目标候选区域Bk中与待识别图像目标候选区域bI最相似的区域，表示两个所述候选区域之间的相似度。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，根据所述相似度以及K近邻图像的目标候选区域之间的相似度之和，确定所述待识别图像的精细目标区域；
通过以下公式计算K近邻图像的目标候选区域之间的相似度之和：
其中，DNN(bI)表示候选区域之间的相似度之和，表示两个所述候选区域之间的相似度；
根据所述相似度以及计算得到的K近邻图像的目标候选区域之间的相似度之和，通过以下公式确定所述待识别图像的精细目标区域：
其中，表示所求得的所述待识别图像的精细目标区域。
第二方面，本发明实施例提供了一种精细目标识别系统，所述系统包括：
目标显著图生成模块，用于提取待识别图像的特征描述，生成目标显著图；
目标候选区域确定模块，用于通过所述目标显著图对所述待识别图像进行处理，得到所述待识别图像的目标候选区域；
K近邻图像检索模块，用于检索所述待识别图像的K近邻图像，并对所述K近邻图像进行处理，得到所述K近邻图像的目标候选区域；
相似度计算模块，用于计算所述待识别图像的目标候选区域和所述K近邻图像的目标候选区域的相似度；
精细目标区域确定模块，用于根据所述相似度以及K近邻图像的目标候选区域之间的相似度之和，确定所述待识别图像的精细目标区域。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述目标显著图生成模块包括：
尺寸改变单元，用于将所述待识别图像的尺寸改变到预设尺寸；
特征描述获取单元，用于训练DomainNet卷积神经网络模型提取预设尺寸下所述待识别图像的pool5层特征，得到所述待识别图像的特征描述；
目标显著图生成单元，用于通过所述待识别图像的特征描述对所述待识别图像进行处理，得到所述待识别图像的目标显著图。
结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述目标候选区域确定模块包括：
候选区域生成单元，用于根据候选区域生成算法生成所述待识别图像的候选区域；
重叠度计算单元，用于计算所述候选区域和所述目标显著图的外接矩形的重叠度；
目标候选区域确定单元，用于将重叠度大于预设重叠度阈值的候选区域确定为所述待识别图像的目标候选区域。
结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述精细目标区域确定模块包括：
候选区域之间相似度之和计算单元，用于通过以下公式计算K近邻图像的目标候选区域之间的相似度之和：
其中，DNN(bI)表示候选区域之间的相似度之和，表示两个所述候选区域之间的相似度；
精细目标区域确定单元，用于根据所述相似度以及计算得到的K近邻图像的目标候选区域之间的相似度之和，通过以下公式确定所述待识别图像的精细目标区域：
其中，表示所求得的所述待识别图像的精细目标区域。
本发明实施例提供的一种精细目标识别方法和系统，通过提取图像的特征描述生成目标显著图，并对待识别图像进行处理得到目标候选区域，根据目标候选区域和K近邻图像的目标候选区域的相似度以及K近邻图像的目标候选区域之间的相似度之和来识别精细目标区域，从而不需要对待识别图像进行强标注，就能够对精细目标进行描述，节省了大量的时间和人力，提高了精细目标的识别效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种精细目标识别方法的方法流程图；
图2示出了本发明实施例所提供的生成目标显著图的方法流程图；
图3示出了本发明实施例所提供的一种精细目标识别系统的结构示意图；
图4示出了本发明实施例所提供的目标显著图生成模块的结构示意图。
图标：
附图3中，各标号所代表的部件列表如下：
30-目标显著图生成模块； 31-目标候选区域确定模块；
32-K近邻图像检索模块； 33-相似度计算模块；
34-精细目标区域确定模块。
附图4中，各标号所代表的部件列表如下：
40-尺寸改变单元； 41-特征描述获取单元；
42-目标显著图生成单元。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
考虑到相关技术中主要是利用强标注对精细目标来进行识别的，首先利用训练图像中的强标注信息预测得到测试图像中可能含有物体的局部区域；再利用卷积神经网络模型模型提取该局部区域的深度特征；最后进行特征融合，生成精细目标的描述。但是，现有技术中需要对局部区域的属性和局部特征点进行强标注，在进行强标注时需要大量的时间和人力，而且只有少数数据集提供人工强标注信息，大部分数据集上很难提供人工标注信息，因此现有方法可移植性差。基于此，本发明实施例提供了一种精细目标识别方法和系统，下面通过实施例进行描述。
实施例1
本实施例提供的精细目标识别方法无需人为对图像进行强标注信息，能够实现在无监督的情形下，进行精细目标的检测和区分性区域的提取，节约了大量的时间和人力。
参见图1，本实施例提供了一种精细目标识别方法，该方法包括：
步骤S101，提取待识别图像的特征描述，生成目标显著图。
步骤S101进一步地包括步骤S201至步骤S203：
步骤S201，将待识别图像的尺寸改变到预设尺寸；
步骤S202，训练DomainNet卷积神经网络模型提取预设尺寸下待识别图像的pool5层特征，得到待识别图像的特征描述；
步骤S203，通过待识别图像的特征描述对待识别图像进行处理，得到待识别图像的目标显著图。
具体地步骤S203包括：
通过以下公式计算出目标显著图：
其中，I表示待识别图像，mI表示目标显著图，为待识别图像的特征描述，i表示图像的特征描述中点的横坐标，j表示图像的特征描述中点的纵坐标，c表示特征通道，p5表示卷积神经网络DomainNet的第五层的池化特征。
其中，目标显著图表示图像中的每个像素点的值可以表达这个像素点属于目标的可能性，由于只有图像的类别标签，期望通过图像的目标显著图来进行无监督的目标检测，因此，如何得到一个比较有效的目标显著图是比较关键的一步，通过对卷积神经网络的中间特征分析，发现通过对神经网络的pool5层的特征的处理，可以得到一个目标显著图，因为全连接层的特征破坏了图像的位置相关性，不适于生成目标显著图.卷积层或pool层的特征会保持图像的位置相关性，非常适合用于描述目标位置信息；相比于其它的卷积层或pool层，例如，conv3，conv4，conv5，pool4等层，pool5层的神经元具有最大的可视域，因此很容易从背景中区分前景目标。
利用图像的基本类别信息，如鸟，狗，车，飞机等，训练出了一个DomainNet卷积神经网络模型，然后利用DomainNet提取图像的pool5层特征生成目标显著图，例如，给定图像I，首先改变图像的尺度到256乘256，然后输入到DomainNet提取图像的pool5特征，得到的特征记为其中512是conv5层卷积核的数目，8×8是pool5层特征图的大小，对于特征利用以下公式可以得到目标的显著图mI。然后对mI变换到和图像I同样大小的尺度并进行归一化：
步骤S102，通过目标显著图对待识别图像进行处理，得到待识别图像的目标候选区域。
步骤S102具体包括步骤(1)至步骤(3)：
(1)根据候选区域生成算法生成待识别图像的候选区域；
(2)计算候选区域和目标显著图的外接矩形的重叠度；
(3)将重叠度大于预设重叠度阈值的候选区域确定为待识别图像的目标候选区域。
现有算法生成的候选区域的数目太多，噪声区域太多，因此，在无监督的目标检测中，会影响算法的效率和准确性，由于目标显著图可以描述目标的位置信息，因此，利用目标显著图过滤掉大部分无关的候选区域，只保留一小部分有意义的区域。
在无监督的目标检测中，一般首先需要通过候选区域生成算法生成成百上千的目标图像候选区域，然后通过最优化的方法找到候选区域中最好的候选区域当作目标图像区域。由于直接用候选区域生成算法生成的候选区域比较多，因此我们首先利用生成的目标显著图过滤掉大部分无用的候选区域，保留一小部分最优的候选区域。过滤的方法是对于目标显著图利用不同的阈值进行二值化，利用二值化后的图像的外接矩形bh来过滤precScore比较低的候选区域,对于每个阈值，我们选择precScore值较高的10个候选区域，其中precScore的计算如下式所示：
其中，bh是二值化图像的外接矩形，b表示一个候选目标区域，采用阈值θ来过滤候选区域，θ可取值为0.1，0.2，0.3，0.4，0.5等，从而得到目标候选区域。
步骤S103，检索待识别图像的K近邻图像，并对K近邻图像进行处理，得到K近邻图像的目标候选区域。
利用目标显著图过滤掉大部分无用的候选区域之后，接下来利用图模型来选择最优的目标区域，如：给定一个测试图像I及它的候选目标区域BI，首先利用图像的卷积神经网络的fc6层特征从所有训练集图像中检索该图像的K近邻图像，检索结果图像及其候选区域分别标记为{N1,N2,…,Nk}和{B1,B2,…,Bk}，由于K近邻图像和查询图像包含有视觉描述一致的目标，因此，K近邻图像可以用来帮助定位查询图像中的目标。
步骤S104，计算待识别图像的目标候选区域和K近邻图像的目标候选区域的相似度。
步骤S104具体包括：通过以下公式计算相似度：
其中，DTN(bI)表示待识别图像的目标候选区域bI与K近邻图像的目标候选区域的相似度之和，表示所有K近邻图像目标候选区域Bk中与待识别图像目标候选区域bI最相似的区域，表示两个候选区域之间的相似度。
步骤S105，根据相似度以及K近邻图像的目标候选区域之间的相似度之和，确定待识别图像的精细目标区域。
步骤S105进一步包括步骤(1)至步骤(2)：
(1)通过以下公式计算K近邻图像的目标候选区域之间的相似度之和：
其中，DNN(bI)表示候选区域之间的相似度之和，表示两个候选区域之间的相似度；
(2)根据相似度以及计算得到的K近邻图像的目标候选区域之间的相似度之和，通过以下公式确定待识别图像的精细目标区域：
其中，表示所求得的待识别图像的精细目标区域。
基于查询图像及其K近邻图像，我们构建一个图模型G＝{V,E}，其中点d结合为V＝{B1,B2,…,Bk}，BI表示测试图像I的候选区域集合；E是边的集合，表示边的权值，反映了不同目标区域之间的相似性。通过图模型G找到图像I的最优目标区域bI *，及其近邻图像Nk的目标区域bk *。具体优化过程如下:
其中，DTN(bI)表示待识别图像的目标候选区域bI与K近邻图像的目标候选区域的相似度，表示所有K近邻图像目标候选区域Bk中与待识别图像目标候选区域bI最相似的区域，表示两个候选区域之间的相似度。
在计算两个候选区域之间的相似度时，不仅需要考虑的候选区域之间的视觉相似性dis，同时也要考虑候选区域本身包含目标的概率objScore，
objScore为了更准确的描述一个候选区域包含目标的概率，定义的objScore包含两部分：probScore和mapScore，其中mapScore是基于生成的目标显著图而计算得到的一个区域包含目标的概率。
objScore(bI)＝probScore(bI)×mapScore(bI)，
probScore(bI)＝max(fprob(bI))，
其中，fprob(bI)是卷积神经网络模型prob层的输出值，probScore(bI)的值越高，目标候选区域bI包含精细目标的概率越大。
除此之外，在目标显著图中发现显著性较高的区域常出现在在目标具有区分性的位置上，例如，头部，因此，可以利用高阈值来二值化显著图，得到具有区分性的区域，从而实现对精细目标的局部区域进行识别。
综上所述，本实施例提供了一种精细目标识别方法，通过提取图像的特征描述生成目标显著图，并对待识别图像进行处理得到目标候选区域，根据目标候选区域和K近邻图像的目标候选区域的相似度以及K近邻图像的目标候选区域之间的相似度之和来识别精细目标区域，从而不需要对待识别图像进行强标注，就能够对精细目标进行描述，节省了大量的时间和人力，提高了精细目标的识别效率。
实施例2
参见图3，本实施例提供的一种精细目标识别系统，该系统包括：
目标显著图生成模块30，用于提取待识别图像的特征描述，生成目标显著图；
目标候选区域确定模块31，用于通过目标显著图对待识别图像进行处理，得到待识别图像的目标候选区域；
K近邻图像检索模块32，用于检索待识别图像的K近邻图像，并对K近邻图像进行处理，得到K近邻图像的目标候选区域；
相似度计算模块33，用于计算待识别图像的目标候选区域和K近邻图像的目标候选区域的相似度；
精细目标区域确定模块34，用于根据相似度以及K近邻图像的目标候选区域之间的相似度之和，确定待识别图像的精细目标区域。
进一步地，参见图4，目标显著图生成模块30包括：
尺寸改变单元40，用于将待识别图像的尺寸改变到预设尺寸；
特征描述获取单元41，用于训练DomainNet卷积神经网络模型提取预设尺寸下待识别图像的pool5层特征，得到待识别图像的特征描述；
目标显著图生成单元42，用于通过待识别图像的特征描述对待识别图像进行处理，得到待识别图像的目标显著图。
目标候选区域确定模块31包括：
候选区域生成单元，用于根据候选区域生成算法生成待识别图像的候选区域；
重叠度计算单元，用于计算候选区域和目标显著图的外接矩形的重叠度；
目标候选区域确定单元，用于将重叠度大于预设重叠度阈值的候选区域确定为待识别图像的目标候选区域。
精细目标区域确定模块34包括：
候选区域之间相似度之和计算单元，用于通过以下公式计算K近邻图像的目标候选区域之间的相似度之和：
其中，DNN(bI)表示候选区域之间的相似度之和，表示两个候选区域之间的相似度；
精细目标区域确定单元，用于根据相似度以及计算得到的K近邻图像的目标候选区域之间的相似度之和，通过以下公式确定待识别图像的精细目标区域：
其中，表示所求得的待识别图像的精细目标区域。
综上所述，本实施例提供的一种精细目标识别系统，通过提取图像的特征描述生成目标显著图，并对待识别图像进行处理得到目标候选区域，根据目标候选区域和K近邻图像的目标候选区域的相似度以及K近邻图像的目标候选区域之间的相似度之和来识别精细目标区域，从而不需要对待识别图像进行强标注，就能够对精细目标进行描述，节省了大量的时间和人力，提高了精细目标的识别效率。
本发明实施例所提供的精细目标识别方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种精细目标识别方法，其特征在于，所述方法包括：
提取待识别图像的特征描述，生成目标显著图；
通过所述目标显著图对所述待识别图像进行处理，得到所述待识别图像的目标候选区域；
检索所述待识别图像的K近邻图像，并对所述K近邻图像进行处理，得到所述K近邻图像的目标候选区域；
计算所述待识别图像的目标候选区域和所述K近邻图像的目标候选区域的相似度；
根据所述K近邻图像的目标候选区域之间的相似度之和，以及所述待识别图像的目标候选区域与所述K近邻图像的目标候选区域的所述相似度，确定所述待识别图像的精细目标区域。
2.根据权利要求1所述的精细目标识别方法，其特征在于，提取待识别图像的特征描述，生成目标显著图，包括：
将所述待识别图像的尺寸改变到预设尺寸；
训练DomainNet卷积神经网络模型提取预设尺寸下所述待识别图像的pool5层特征，得到所述待识别图像的特征描述；
通过所述待识别图像的特征描述对所述待识别图像进行处理，得到所述待识别图像的目标显著图。
3.根据权利要求2所述的精细目标识别方法，其特征在于，通过所述待识别图像的特征描述对所述待识别图像进行处理，得到所述待识别图像的目标显著图，包括：
通过以下公式计算出所述目标显著图：
其中，I表示待识别图像，mI表示目标显著图，fI p5为所述待识别图像的特征描述，i表示图像的特征描述中的点的横坐标，j表示图像的特征描述中的点的纵坐标，c表示特征通道，p5表示卷积神经网络DomainNet的第五层的池化特征。
4.根据权利要求1所述的精细目标识别方法，其特征在于，通过所述目标显著图对所述待识别图像进行处理，得到所述待识别图像的目标候选区域，包括：
根据候选区域生成算法生成所述待识别图像的候选区域；
计算所述候选区域和所述目标显著图的外接矩形的重叠度；
将重叠度大于预设重叠度阈值的候选区域确定为所述待识别图像的目标候选区域。
5.根据权利要求1所述的精细目标识别方法，其特征在于，计算所述待识别图像的目标候选区域和所述K近邻图像的目标候选区域的相似度，包括：
通过以下公式计算所述相似度：
其中，DTN(bI)表示所述待识别图像的目标候选区域bI与所述K近邻图像的目标候选区域的相似度之和，表示所有所述K近邻图像目标候选区域Bk中与待识别图像目标候选区域bI最相似的区域，表示两个所述候选区域之间的相似度。
6.根据权利要求5所述的精细目标识别方法，其特征在于，根据所述K近邻图像的目标候选区域之间的相似度之和，以及所述待识别图像的目标候选区域与所述K近邻图像的目标候选区域的所述相似度，确定所述待识别图像的精细目标区域；
通过以下公式计算K近邻图像的目标候选区域之间的相似度之和：
其中，DNN(bI)表示候选区域之间的相似度之和，表示两个所述候选区域之间的相似度；
根据所述相似度以及计算得到的K近邻图像的目标候选区域之间的相似度之和，通过以下公式确定所述待识别图像的精细目标区域：
其中，表示所求得的所述待识别图像的精细目标区域。
7.一种精细目标识别系统，其特征在于，所述系统包括：
目标显著图生成模块，用于提取待识别图像的特征描述，生成目标显著图；
目标候选区域确定模块，用于通过所述目标显著图对所述待识别图像进行处理，得到所述待识别图像的目标候选区域；
K近邻图像检索模块，用于检索所述待识别图像的K近邻图像，并对所述K近邻图像进行处理，得到所述K近邻图像的目标候选区域；
相似度计算模块，用于计算所述待识别图像的目标候选区域和所述K近邻图像的目标候选区域的相似度；
精细目标区域确定模块，用于根据所述K近邻图像的目标候选区域之间的相似度之和，以及所述待识别图像的目标候选区域与所述K近邻图像的目标候选区域的所述相似度，确定所述待识别图像的精细目标区域。
8.根据权利要求7所述的精细目标识别系统，其特征在于，所述目标显著图生成模块包括：
尺寸改变单元，用于将所述待识别图像的尺寸改变到预设尺寸；
特征描述获取单元，用于训练DomainNet卷积神经网络模型提取预设尺寸下所述待识别图像的pool5层特征，得到所述待识别图像的特征描述；
目标显著图生成单元，用于通过所述待识别图像的特征描述对所述待识别图像进行处理，得到所述待识别图像的目标显著图。
9.根据权利要求7所述的精细目标识别系统，其特征在于，所述目标候选区域确定模块包括：
候选区域生成单元，用于根据候选区域生成算法生成所述待识别图像的候选区域；
重叠度计算单元，用于计算所述候选区域和所述目标显著图的外接矩形的重叠度；
目标候选区域确定单元，用于将重叠度大于预设重叠度阈值的候选区域确定为所述待识别图像的目标候选区域。
10.根据权利要求7所述的精细目标识别系统，其特征在于，所述精细目标区域确定模块包括：
候选区域之间相似度之和计算单元，用于通过以下公式计算K近邻图像的目标候选区域之间的相似度之和：
其中，DNN(bI)表示候选区域之间的相似度之和，表示两个所述候选区域之间的相似度；
精细目标区域确定单元，用于根据所述相似度以及计算得到的K近邻图像的目标候选区域之间的相似度之和，通过以下公式确定所述待识别图像的精细目标区域：
其中，表示所求得的所述待识别图像的精细目标区域，DTN(bI)表示所述待识别图像的目标候选区域bI与所述K近邻图像的目标候选区域的相似度之和。
CN201611271124.9A 2016-12-30 2016-12-30 精细目标识别方法和系统 Active CN106845496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611271124.9A CN106845496B (zh) 2016-12-30 2016-12-30 精细目标识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611271124.9A CN106845496B (zh) 2016-12-30 2016-12-30 精细目标识别方法和系统

Publications (2)

Publication Number Publication Date
CN106845496A CN106845496A (zh) 2017-06-13
CN106845496B true CN106845496B (zh) 2019-02-12

Family

ID=59117009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611271124.9A Active CN106845496B (zh) 2016-12-30 2016-12-30 精细目标识别方法和系统

Country Status (1)

Country Link
CN (1) CN106845496B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403158A (zh) * 2017-07-28 2017-11-28 中国电子科技集团公司第三十八研究所 一种人员在岗视频识别方法及智能用户信息传输装置
CN107481265B (zh) * 2017-08-17 2020-05-19 成都通甲优博科技有限责任公司 目标重定位方法及装置
CN108446707B (zh) * 2018-03-06 2020-11-24 北方工业大学 基于关键点筛选及dpm确认的遥感图像飞机检测方法
CN110569837B (zh) * 2018-08-31 2021-06-04 创新先进技术有限公司 优化损伤检测结果的方法及装置
CN109978044B (zh) * 2019-03-20 2021-03-19 广州云测信息技术有限公司 训练数据生成方法和装置、以及模型的训练方法和装置
CN110378356B (zh) * 2019-07-16 2021-07-02 北京中科研究院 基于多目标拉格朗日正则的细粒度图像识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102909A (zh) * 2014-07-23 2014-10-15 中科联合自动化科技无锡有限公司 基于多重视觉信息的车辆特征定位及匹配方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102909A (zh) * 2014-07-23 2014-10-15 中科联合自动化科技无锡有限公司 基于多重视觉信息的车辆特征定位及匹配方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
一种基于相似度判据的K近邻分类器的车牌字符识别方法;杨晓敏等;《四川大学学报》;20061031;第43卷(第5期);全文
基于图模型与卷积神经网络的交通标志识别方法;刘占文等;《交通运输工程学报》;20161031;第16卷(第5期);全文
基于目标的场景图像表示及分类;罗序辉;《中国优秀硕士学位论文全文数据库信息科技辑》;20161015;第2016卷(第10期);第23页第5.1.2节-第27页第5.3节
基于视觉显著性近邻投票的标签排序方法;李旻先等;《南京理工大学学报》;20120831;第36卷(第4期);第563页，1.2节，图3
面向花卉图像的精细图像分类研究;谢晓东;《中国优秀硕士学位论文全文数据库信息科技辑》;20140815;第2014卷(第08期);全文

Also Published As

Publication number Publication date
CN106845496A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
CN106845496B (zh) 精细目标识别方法和系统
Guan et al. Deep learning-based tree classification using mobile LiDAR data
Chaudhuri et al. Multilabel remote sensing image retrieval using a semisupervised graph-theoretic method
Ge et al. Multi-evidence filtering and fusion for multi-label classification, object detection and semantic segmentation based on weakly supervised learning
Xia et al. DOTA: A large-scale dataset for object detection in aerial images
CN103617233B (zh) 一种基于语义内容多层表示的重复视频检测方法与装置
Pally et al. Application of image processing and convolutional neural networks for flood image classification and semantic segmentation
CN105389550B (zh) 一种基于稀疏指引与显著驱动的遥感目标检测方法
JP4937395B2 (ja) 特徴ベクトル生成装置、特徴ベクトル生成方法及びプログラム
Xu et al. Consistency-regularized region-growing network for semantic segmentation of urban scenes with point-level annotations
Chazalon et al. ICDAR 2021 competition on historical map segmentation
JP4926266B2 (ja) 学習データ作成装置、学習データ作成方法及びプログラム
Xia et al. Fast and robust detection of oil palm trees using high-resolution remote sensing images
Singh et al. Semantically guided geo-location and modeling in urban environments
Kyriakaki-Grammatikaki et al. Geometric primitive extraction from semantically enriched point clouds
Chandra et al. Human cognition based framework for detecting roads from remote sensing images
Jiang et al. Dynamic proposal sampling for weakly supervised object detection
CN105809181A (zh) 用于Logo检测的方法和设备
Xu et al. A large-scale remote sensing scene dataset construction for semantic segmentation
Li et al. Progressive attention-based feature recovery with scribble supervision for saliency detection in optical remote sensing image
CN116258820B (zh) 大规模城市点云数据集与建筑单体化构建方法及相关装置
Li et al. Learning to holistically detect bridges from large-size vhr remote sensing imagery
CN103473562B (zh) 特定人体动作的自动训练和识别系统
Wang et al. Accurate segmentation of Ulva prolifera regions with superpixel and CNNs
Moghalles et al. Semantic segmentation of building extraction in very high resolution imagery via optimal segmentation guided by deep seeds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant