CN108171257A - 细粒度图像识别模型训练及识别方法、装置及存储介质 - Google Patents

细粒度图像识别模型训练及识别方法、装置及存储介质 Download PDF

Info

Publication number
CN108171257A
CN108171257A CN201711249014.7A CN201711249014A CN108171257A CN 108171257 A CN108171257 A CN 108171257A CN 201711249014 A CN201711249014 A CN 201711249014A CN 108171257 A CN108171257 A CN 108171257A
Authority
CN
China
Prior art keywords
image
fine granularity
object position
distance
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711249014.7A
Other languages
English (en)
Other versions
CN108171257B (zh
Inventor
孙明
袁宇辰
周峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201711249014.7A priority Critical patent/CN108171257B/zh
Publication of CN108171257A publication Critical patent/CN108171257A/zh
Priority to US16/205,005 priority patent/US10902300B2/en
Application granted granted Critical
Publication of CN108171257B publication Critical patent/CN108171257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了细粒度图像识别模型训练及识别方法、装置及存储介质，其中方法包括：获取作为训练样本的图像，并分别获取每张图像对应的标签，包括：所属类别；根据训练样本及对应的标签训练得到细粒度图像识别模型，并在训练过程中从所属类别以及物体部位两个维度进行特征层面的约束，以便细粒度图像识别模型学习到图像中的关键物体部位；当需要进行细粒度图像识别时，将待识别的图像输入给细粒度图像识别模型，以便细粒度图像识别模型定位出图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类，输出分类结果。应用本发明所述方案，能够节省人力成本及提高模型训练效率等。

Description

细粒度图像识别模型训练及识别方法、装置及存储介质
【技术领域】
本发明涉及细粒度图像识别技术，特别涉及细粒度图像识别模型训练及识别方法、装置及存储介质。
【背景技术】
细粒度图像识别是近年来计算机视觉、模式识别等领域出现的一个非常热门的研究课题，其目的是对粗粒度的大类别进行更加细致的子类划分。
相比于粗粒度的图像分类任务，细粒度图像类别间的差异更加细微，往往只能借助于微小的局部差异才能区分出不同的类别。
细粒度图像识别可包括识别出不同类别的动物如鸟、不同类别的花卉、不同类别的车辆、不同类别的菜品等。
在细粒度图像识别领域，物体部位的定位及表示至关重要。
现有细粒度图像识别方法中，多依赖于对物体部位的人工标注，通过标注训练样本来训练识别模型，进而通过识别模型来对待识别的图像进行细粒度图像识别，即得到细粒度图像分类结果。这种方式无疑增大了人力成本，并降低了模型训练效率。
【发明内容】
有鉴于此，本发明提供了细粒度图像识别模型训练及识别方法、装置及存储介质，能够节省人力成本及提高模型训练效率等。
具体技术方案如下：
一种细粒度图像识别模型训练方法，包括：
获取作为训练样本的图像，并分别获取每张图像对应的标签，所述标签包括：所属类别；
根据所述训练样本及对应的标签训练得到细粒度图像识别模型，并在训练过程中从所属类别以及物体部位两个维度进行特征层面的约束，以便所述细粒度图像识别模型学习到图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类。
根据本发明一优选实施例，所述从所属类别以及物体部位两个维度进行特征层面的约束包括：
从相同类别的图像中的相同物体部位提取出的两个特征间的距离同时满足：小于从相同类别的图像中的不同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的相同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
从相同类别的图像中的不同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
从不同类别的图像中的相同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离。
根据本发明一优选实施例，所述细粒度图像识别模型中至少包括两个分支；
在训练过程中，对于每张图像，每个分支分别针对所述图像中的一个物体部位进行特征提取；
训练完成，各分支分别学习到图像中的不同关键物体部位，以便结合各分支提取出的特征完成细粒度图像分类。
一种细粒度图像识别方法，包括：
获取待识别的图像；
将所述待识别的图像输入给预先训练得到的细粒度图像识别模型，以便所述细粒度图像识别模型定位出图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类，输出分类结果。
根据本发明一优选实施例，所述获取待识别的图像之前，进一步包括：
获取作为训练样本的图像，并分别获取每张图像对应的标签，所述标签包括：所属类别；
根据所述训练样本及对应的标签训练得到细粒度图像识别模型，并在训练过程中从所属类别以及物体部位两个维度进行特征层面的约束，以便所述细粒度图像识别模型学习到图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类。
根据本发明一优选实施例，所述从所属类别以及物体部位两个维度进行特征层面的约束包括：
从相同类别的图像中的相同物体部位提取出的两个特征间的距离同时满足：小于从相同类别的图像中的不同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的相同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
从相同类别的图像中的不同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
从不同类别的图像中的相同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离。
根据本发明一优选实施例，所述细粒度图像识别模型中至少包括两个分支；
在训练过程中，对于每张图像，每个分支分别针对所述图像中的一个物体部位进行特征提取；
训练完成，各分支分别学习到图像中的不同关键物体部位，以便结合各分支提取出的特征完成细粒度图像分类。
一种细粒度图像识别模型训练装置，包括：样本获取单元以及模型训练单元；
所述样本获取单元，用于获取作为训练样本的图像，并分别获取每张图像对应的标签，所述标签包括：所属类别；
所述模型训练单元，用于根据所述训练样本及对应的标签训练得到细粒度图像识别模型，并在训练过程中从所属类别以及物体部位两个维度进行特征层面的约束，以便所述细粒度图像识别模型学习到图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类。
根据本发明一优选实施例，所述从所属类别以及物体部位两个维度进行特征层面的约束包括：
从相同类别的图像中的相同物体部位提取出的两个特征间的距离同时满足：小于从相同类别的图像中的不同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的相同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
从相同类别的图像中的不同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
从不同类别的图像中的相同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离。
根据本发明一优选实施例，所述细粒度图像识别模型中至少包括两个分支；
在训练过程中，对于每张图像，每个分支分别针对所述图像中的一个物体部位进行特征提取；
训练完成，各分支分别学习到图像中的不同关键物体部位，以便结合各分支提取出的特征完成细粒度图像分类。
一种细粒度图像识别装置，包括：图像获取单元以及图像识别单元；
所述图像获取单元，用于获取待识别的图像；
所述图像识别单元，用于将所述待识别的图像输入给预先训练得到的细粒度图像识别模型，以便所述细粒度图像识别模型定位出图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类，输出分类结果。
根据本发明一优选实施例，所述装置中进一步包括：预处理单元；
所述预处理单元，用于获取作为训练样本的图像，并分别获取每张图像对应的标签，所述标签包括：所属类别；根据所述训练样本及对应的标签训练得到细粒度图像识别模型，并在训练过程中从所属类别以及物体部位两个维度进行特征层面的约束，以便所述细粒度图像识别模型学习到图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类。
根据本发明一优选实施例，所述从所属类别以及物体部位两个维度进行特征层面的约束包括：
从相同类别的图像中的相同物体部位提取出的两个特征间的距离同时满足：小于从相同类别的图像中的不同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的相同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
从相同类别的图像中的不同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
从不同类别的图像中的相同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离。
根据本发明一优选实施例，所述细粒度图像识别模型中至少包括两个分支；
在训练过程中，对于每张图像，每个分支分别针对所述图像中的一个物体部位进行特征提取；
训练完成，各分支分别学习到图像中的不同关键物体部位，以便结合各分支提取出的特征完成细粒度图像分类。
一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。
基于上述介绍可以看出，采用本发明所述方案，可首先获取作为训练样本的图像，并分别获取每张图像对应的标签，包括所属类别等，之后，可根据训练样本及对应的标签训练得到细粒度图像识别模型，并在训练过程中从所属类别以及物体部位两个维度进行特征层面的约束，以便细粒度图像识别模型学习到图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类，细粒度图像识别模型训练完成之后，即可利用细粒度图像识别模型来进行实际的细粒度图像识别，相比于现有技术，本发明所述方案中无需对物体部位进行人工标注，从而节省了人力成本，并提高了模型训练效率，而且，通过进行特征层面的约束等，可以使得细粒度图像识别模型准确地定位到图像中的关键物体部位，从而保证了细粒度图像识别结果的准确性等。
【附图说明】
图1为本发明所述细粒度图像识别模型训练方法实施例的流程图。
图2为本发明所述图像类别及物体部位之间的关系示意图。
图3为本发明所述不同特征间的距离的第一示意图。
图4为本发明所述不同特征间的距离的第二示意图。
图5为本发明所述细粒度图像识别模型的训练过程示意图。
图6为本发明所述细粒度图像识别方法实施例的流程图。
图7为本发明所述细粒度图像识别模型训练装置实施例的组成结构示意图。
图8为本发明所述细粒度图像识别方法实施例的组成结构示意图。
图9示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。
【具体实施方式】
为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案进行进一步说明。
显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明所述细粒度图像识别模型训练方法实施例的流程图。如图1所示，包括以下具体实现方式。
在101中，获取作为训练样本的图像，并分别获取每张图像对应的标签，所述标签包括：所属类别。
在102中，根据训练样本及对应的标签训练得到细粒度图像识别模型，并在训练过程中从所属类别以及物体部位两个维度进行特征层面的约束，以便细粒度图像识别模型学习到图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类。
现有的细粒度图像识别方法中，通常仅利用图像级别整体类别信息来进行模型训练约束，利用的信息有限。
而图像中物体部位之间的关系同样蕴含着丰富的信息，具有进一步提高细粒度图像识别精度的潜力。因此，本实施例中提出，可通过不同图像之间以及同一图像中的不同物体部位之间所存在的丰富的部位约束关系来提高整体识别性能。
相应地，可在细粒度图像识别模型训练过程中引入两个约束，一个为传统的利用图像级别整体类别信息来进行模型训练的约束，另外一个为从所属类别以及物体部位两个维度进行的特征层面的约束，以便细粒度图像识别模型学习到图像中的关键物体部位，进而根据关键物体部位完成细粒度图像分类。
细粒度图像识别模型通常为神经网络模型。
为训练得到细粒度图像识别模型，需要首先获取作为训练样本的图像，并分别获取每个训练样本对应的标签，如可包括：所属类别。
如何获取每个训练样本对应的标签可根据实际需要而定，比如，可通过人工标注得到，或者，直接将已知类别的图像作为训练样本。
之后，可根据训练样本及对应的标签训练得到细粒度图像识别模型，并在训练过程中从所属类别以及物体部位两个维度进行特征层面的约束。
其中，从所属类别以及物体部位两个维度进行特征层面的约束可包括：
1)从相同类别的图像中的相同物体部位提取出的两个特征间的距离同时满足：小于从相同类别的图像中的不同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的相同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
2)从相同类别的图像中的不同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
3)从不同类别的图像中的相同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离。
图2为本发明所述图像类别及物体部位之间的关系示意图。如图2所示，其中的字母A和字母B均表示从所属类别为Class1的图像中的物体部位(Part)1中提取出的特征，字母C表示从所属类别为Class1的图像中的物体部位2中提取出的特征，字母D表示从所属类别为Class2的图像中的物体部位1中提取出的特征，字母E表示从所属类别为Class2的图像中的物体部位2中提取出的特征。
假设用SS表示从相同类别的图像中的相同物体部位提取出的两个特征间的距离，即A和B之间的距离，用SD表示从相同类别的图像中的不同物体部位提取出的两个特征间的距离，即A和C之间的距离，用DS表示从不同类别的图像中的相同物体部位提取出的两个特征间的距离，即A和D之间的距离，用DD表示从不同类别的图像中的不同物体部位提取出的两个特征间的距离，即A和E之间的距离，那么希望通过本实施例所述的约束，使得不同特征间的距离从图3所示的杂乱无章的状态转换到图4所示状态，图3为本发明所述不同特征间的距离的第一示意图，图4为本发明所述不同特征间的距离的第二示意图，如图4所示，需要满足：SS<SD，SS<DS，SS<DD，SD<DD，DS<DD，图3和图4中的虚线圈表示距离的远近，圈越大表示距离越远。
在实际应用中，细粒度图像识别模型中可至少包括两个分支，较佳地，分支数可为两个。其中，在训练过程中，对于每张图像，每个分支分别针对图像中的一个物体部位进行特征提取。训练完成，各分支分别学习到图像中的不同关键物体部位，以便结合各分支提取出的特征完成细粒度图像分类。
图5为本发明所述细粒度图像识别模型的训练过程示意图。如图5所示，假设每次输入4张图像，作为一个pairs对，为便于表述，分别将这4张图像称为图像1、图像2、图像3和图像4，其中，图像1和图像2属于同一类别Class1，图像3和图像4属于同一类别Class2，类似于图5中所示的图像1分别对应于两个分支的中间结果，图像1分别对应于两个分支的中间结果下方、右侧和右下方分别表示：图像2分别对应于两个分支的中间结果、图像3分别对应于两个分支的中间结果、图像4分别对应于两个分支的中间结果，每张图像分别经过两个分支，最终得到两个特征f1和f2，可结合f1和f2进行图像分类(Combined softmax loss)，MAMC loss用于约束不同特征间的距离关系，从而使得两个分支分别学习到不同的物体部位。
按照上述方式完成细粒度图像识别模型的训练后，不同的分支将分别学习到图像中的不同关键物体部位，每个分支分别对应一个关键物体部分，每个分支分别对应一个特征。
假设特征a为从图像a中提取出的“鸟头”部位的特征，特征b为从图像b中提取出的“鸟头”部位的特征，特征c为从图像a或图像c中提取出的“鸟尾”部位的特征，图像a、图像b和图像c所属类别均为“啄木鸟”，那么按照本实施例所述方式，要求特征a和特征b之间的距离小于特征a与特征c之间的距离，即认为相比于“鸟头”与“鸟尾”，“鸟头”与“鸟头”在空间语义上更为接近，从而使得各分支分别关注不同的物体部位。
图6为本发明所述细粒度图像识别方法实施例的流程图。如图6所示，包括以下具体实现方式。
在601中，获取待识别的图像。
在602中，将待识别的图像输入给预先训练得到的细粒度图像识别模型，以便细粒度图像识别模型定位出图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类，输出分类结果。
可以看出，为实现本实施例所述方案，需要预先训练得到细粒度图像识别模型。
具体地，可首先获取作为训练样本的图像，并分别获取每个训练样本对应的标签，包括：所属类别。之后，可根据训练样本及对应的标签训练得到细粒度图像识别模型，并在训练过程中从所属类别以及物体部位两个维度进行特征层面的约束，以便细粒度图像识别模型学习到图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类。
其中，从所属类别以及物体部位两个维度进行特征层面的约束可包括：
1)从相同类别的图像中的相同物体部位提取出的两个特征间的距离同时满足：小于从相同类别的图像中的不同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的相同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
2)从相同类别的图像中的不同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
3)从不同类别的图像中的相同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离。
细粒度图像识别模型中可至少包括两个分支。在训练过程中，对应每张图像，每个分支分别针对图像中的一个物体部位进行特征提取。训练完成，各分支分别学习到图像中的不同关键物体部位。
在进行实际的细粒度图像识别时，获取到待识别的图像后，可将待识别的图像输入给细粒度图像识别模型，假设细粒度图像识别模型中包括两个分支，那么将得到两个特征，结合两个特征对待识别的图像进行分类，得到分类结果并输出。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
总之，采用上述各方法实施例所述方案，在进行细粒度图像识别模型训练时，无需对物体部位进行人工标注，从而节省了人力成本，并提高了模型训练效率，而且，通过进行特征层面的约束等，可以使得细粒度图像识别模型准确地定位到图像中的关键物体部位，从而保证了细粒度图像识别结果的准确性，另外，上述各方法实施例所述方案可以很容易地扩展到细粒度图像识别的各大垂类中，如动物、花卉、车辆、菜品等，具有广泛适用性。
以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。
图7为本发明所述细粒度图像识别模型训练装置实施例的组成结构示意图。如图7所示，包括：样本获取单元701以及模型训练单元702。
样本获取单元701，用于获取作为训练样本的图像，并分别获取每张图像对应的标签，标签包括：所属类别。
模型训练单元702，用于根据训练样本及对应的标签训练得到细粒度图像识别模型，并在训练过程中从所属类别以及物体部位两个维度进行特征层面的约束，以便细粒度图像识别模型学习到图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类。
现有的细粒度图像识别方法中，通常仅利用图像级别整体类别信息来进行模型训练约束，利用的信息有限。
而本实施例中，可在细粒度图像识别模型训练过程中引入两个约束，一个为传统的利用图像级别整体类别信息来进行模型训练的约束，另外一个为从所属类别以及物体部位两个维度进行的特征层面的约束，以便细粒度图像识别模型学习到图像中的关键物体部位，进而根据关键物体部位完成细粒度图像分类。
细粒度图像识别模型通常为神经网络模型。
为训练得到细粒度图像识别模型，样本获取单元701需要首先获取作为训练样本的图像，并分别获取每个训练样本对应的标签，如可包括：所属类别。
之后，模型训练单元702可根据训练样本及对应的标签训练得到细粒度图像识别模型，并在训练过程中从所属类别以及物体部位两个维度进行特征层面的约束。
其中，从所属类别以及物体部位两个维度进行特征层面的约束可包括：
1)从相同类别的图像中的相同物体部位提取出的两个特征间的距离同时满足：小于从相同类别的图像中的不同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的相同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
2)从相同类别的图像中的不同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
3)从不同类别的图像中的相同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离。
在实际应用中，细粒度图像识别模型中可至少包括两个分支，较佳地，分支数可为两个。其中，在训练过程中，对于每张图像，每个分支分别针对图像中的一个物体部位进行特征提取。训练完成，各分支分别学习到图像中的不同关键物体部位，以便结合各分支提取出的特征完成细粒度图像分类。
图8为本发明所述细粒度图像识别方法实施例的组成结构示意图。如图8所示，包括：图像获取单元801以及图像识别单元802。
图像获取单元801，用于获取待识别的图像。
图像识别单元802，用于将待识别的图像输入给预先训练得到的细粒度图像识别模型，以便细粒度图像识别模型定位出图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类，输出分类结果。
可以看出，为实现本实施例所述方案，需要预先训练得到细粒度图像识别模型。相应地，图8所示装置中可进一步包括：预处理单元800。
预处理单元800，用于获取作为训练样本的图像，并分别获取每张图像对应的标签，标签包括：所属类别；根据训练样本及对应的标签训练得到细粒度图像识别模型，并在训练过程中从所属类别以及物体部位两个维度进行特征层面的约束，以便细粒度图像识别模型学习到图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类。
其中，从所属类别以及物体部位两个维度进行特征层面的约束可包括：
1)从相同类别的图像中的相同物体部位提取出的两个特征间的距离同时满足：小于从相同类别的图像中的不同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的相同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
2)从相同类别的图像中的不同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
3)从不同类别的图像中的相同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离。
细粒度图像识别模型中可至少包括两个分支。在训练过程中，对应每张图像，每个分支分别针对图像中的一个物体部位进行特征提取。训练完成，各分支分别学习到图像中的不同关键物体部位。
在进行实际的细粒度图像识别时，图像获取单元801获取到待识别的图像后，将其发送给图像识别单元802，图像识别单元802可将待识别的图像输入给细粒度图像识别模型，假设细粒度图像识别模型中包括两个分支，那么将得到两个特征，结合两个特征对待识别的图像进行分类，得到分类结果并输出。
在实际应用中，上述预处理单元800可为图7所示装置。
图7和图8所示装置实施例的具体工作流程请参照前述方法实施例中的相应说明，不再赘述。
总之，采用上述各装置实施例所述方案，在进行细粒度图像识别模型训练时，无需对物体部位进行人工标注，从而节省了人力成本，并提高了模型训练效率，而且，通过进行特征层面的约束等，可以使得细粒度图像识别模型准确地定位到图像中的关键物体部位，从而保证了细粒度图像识别结果的准确性，另外，上述各装置实施例所述方案可以很容易地扩展到细粒度图像识别的各大垂类中，如动物、花卉、车辆、菜品等，具有广泛适用性。
图9示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。图9显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器(处理单元)16，存储器28，连接不同系统组件(包括存储器28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图9所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1或6所示实施例中的方法。
本发明同时公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时将实现如图1或6所示实施例中的方法。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (18)

1.一种细粒度图像识别模型训练方法，其特征在于，包括：
获取作为训练样本的图像，并分别获取每张图像对应的标签，所述标签包括：所属类别；
根据所述训练样本及对应的标签训练得到细粒度图像识别模型，并在训练过程中从所属类别以及物体部位两个维度进行特征层面的约束，以便所述细粒度图像识别模型学习到图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类。
2.根据权利要求1所述的方法，其特征在于，
所述从所属类别以及物体部位两个维度进行特征层面的约束包括：
从相同类别的图像中的相同物体部位提取出的两个特征间的距离同时满足：小于从相同类别的图像中的不同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的相同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
从相同类别的图像中的不同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
从不同类别的图像中的相同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离。
3.根据权利要求1所述的方法，其特征在于，
所述细粒度图像识别模型中至少包括两个分支；
在训练过程中，对于每张图像，每个分支分别针对所述图像中的一个物体部位进行特征提取；
训练完成，各分支分别学习到图像中的不同关键物体部位，以便结合各分支提取出的特征完成细粒度图像分类。
4.一种细粒度图像识别方法，其特征在于，包括：
获取待识别的图像；
将所述待识别的图像输入给预先训练得到的细粒度图像识别模型，以便所述细粒度图像识别模型定位出图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类，输出分类结果。
5.根据权利要求4所述的方法，其特征在于，
所述获取待识别的图像之前，进一步包括：
获取作为训练样本的图像，并分别获取每张图像对应的标签，所述标签包括：所属类别；
根据所述训练样本及对应的标签训练得到细粒度图像识别模型，并在训练过程中从所属类别以及物体部位两个维度进行特征层面的约束，以便所述细粒度图像识别模型学习到图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类。
6.根据权利要求5所述的方法，其特征在于，
所述从所属类别以及物体部位两个维度进行特征层面的约束包括：
从相同类别的图像中的相同物体部位提取出的两个特征间的距离同时满足：小于从相同类别的图像中的不同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的相同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
从相同类别的图像中的不同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
从不同类别的图像中的相同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离。
7.根据权利要求5所述的方法，其特征在于，
所述细粒度图像识别模型中至少包括两个分支；
在训练过程中，对于每张图像，每个分支分别针对所述图像中的一个物体部位进行特征提取；
训练完成，各分支分别学习到图像中的不同关键物体部位，以便结合各分支提取出的特征完成细粒度图像分类。
8.一种细粒度图像识别模型训练装置，其特征在于，包括：样本获取单元以及模型训练单元；
所述样本获取单元，用于获取作为训练样本的图像，并分别获取每张图像对应的标签，所述标签包括：所属类别；
所述模型训练单元，用于根据所述训练样本及对应的标签训练得到细粒度图像识别模型，并在训练过程中从所属类别以及物体部位两个维度进行特征层面的约束，以便所述细粒度图像识别模型学习到图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类。
9.根据权利要求8所述的装置，其特征在于，
所述从所属类别以及物体部位两个维度进行特征层面的约束包括：
从相同类别的图像中的相同物体部位提取出的两个特征间的距离同时满足：小于从相同类别的图像中的不同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的相同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
从相同类别的图像中的不同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
从不同类别的图像中的相同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离。
10.根据权利要求8所述的装置，其特征在于，
所述细粒度图像识别模型中至少包括两个分支；
在训练过程中，对于每张图像，每个分支分别针对所述图像中的一个物体部位进行特征提取；
训练完成，各分支分别学习到图像中的不同关键物体部位，以便结合各分支提取出的特征完成细粒度图像分类。
11.一种细粒度图像识别装置，其特征在于，包括：图像获取单元以及图像识别单元；
所述图像获取单元，用于获取待识别的图像；
所述图像识别单元，用于将所述待识别的图像输入给预先训练得到的细粒度图像识别模型，以便所述细粒度图像识别模型定位出图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类，输出分类结果。
12.根据权利要求11所述的装置，其特征在于，
所述装置中进一步包括：预处理单元；
所述预处理单元，用于获取作为训练样本的图像，并分别获取每张图像对应的标签，所述标签包括：所属类别；根据所述训练样本及对应的标签训练得到细粒度图像识别模型，并在训练过程中从所属类别以及物体部位两个维度进行特征层面的约束，以便所述细粒度图像识别模型学习到图像中的关键物体部位，并根据关键物体部位完成细粒度图像分类。
13.根据权利要求12所述的装置，其特征在于，
所述从所属类别以及物体部位两个维度进行特征层面的约束包括：
从相同类别的图像中的相同物体部位提取出的两个特征间的距离同时满足：小于从相同类别的图像中的不同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的相同物体部位提取出的两个特征间的距离；小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
从相同类别的图像中的不同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离；
从不同类别的图像中的相同物体部位提取出的两个特征间的距离满足：小于从不同类别的图像中的不同物体部位提取出的两个特征间的距离。
14.根据权利要求12所述的装置，其特征在于，
所述细粒度图像识别模型中至少包括两个分支；
在训练过程中，对于每张图像，每个分支分别针对所述图像中的一个物体部位进行特征提取；
训练完成，各分支分别学习到图像中的不同关键物体部位，以便结合各分支提取出的特征完成细粒度图像分类。
15.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～3中任一项所述的方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～3中任一项所述的方法。
17.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求4～7中任一项所述的方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求4～7中任一项所述的方法。
CN201711249014.7A 2017-12-01 2017-12-01 细粒度图像识别模型训练及识别方法、装置及存储介质 Active CN108171257B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711249014.7A CN108171257B (zh) 2017-12-01 2017-12-01 细粒度图像识别模型训练及识别方法、装置及存储介质
US16/205,005 US10902300B2 (en) 2017-12-01 2018-11-29 Method and apparatus for training fine-grained image recognition model, fine-grained image recognition method and apparatus, and storage mediums

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711249014.7A CN108171257B (zh) 2017-12-01 2017-12-01 细粒度图像识别模型训练及识别方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN108171257A true CN108171257A (zh) 2018-06-15
CN108171257B CN108171257B (zh) 2019-11-26

Family

ID=62525065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711249014.7A Active CN108171257B (zh) 2017-12-01 2017-12-01 细粒度图像识别模型训练及识别方法、装置及存储介质

Country Status (2)

Country Link
US (1) US10902300B2 (zh)
CN (1) CN108171257B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068274A (zh) * 2018-09-30 2018-12-21 电子科技大学 一种细粒度指纹质量辅助下的复杂室内环境目标定位方法
CN109740459A (zh) * 2018-12-19 2019-05-10 创新奇智(合肥)科技有限公司 一种图像差异对比方法、系统及无人售货装置
CN110059654A (zh) * 2019-04-25 2019-07-26 台州智必安科技有限责任公司 一种基于细粒度识别的菜品自动结算及饮食健康管理方法
CN110826371A (zh) * 2018-08-10 2020-02-21 京东数字科技控股有限公司 一种动物识别方法、装置、介质及电子设备
CN111382781A (zh) * 2020-02-21 2020-07-07 华为技术有限公司 获取图像标签的方法、训练图像识别模型的方法和装置
CN111652242A (zh) * 2020-04-20 2020-09-11 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN111914599A (zh) * 2019-05-09 2020-11-10 四川大学 一种基于语义信息多层特征融合的细粒度鸟类识别方法
CN112149701A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 一种图像识别方法、虚拟样本数据生成方法和存储介质
CN113723407A (zh) * 2021-11-01 2021-11-30 深圳思谋信息科技有限公司 图像分类识别方法、装置、计算机设备和存储介质
WO2024108803A1 (zh) * 2022-11-25 2024-05-30 漳州松霖智能家居有限公司 一种口腔检测方法、装置、系统及相关设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458233B (zh) * 2019-08-13 2024-02-13 腾讯云计算（北京）有限责任公司 混合粒度物体识别模型训练及识别方法、装置及存储介质
CN112581250B (zh) * 2019-09-30 2023-12-29 深圳无域科技技术有限公司 模型生成方法、装置、计算机设备和存储介质
CN111027592B (zh) * 2019-11-14 2023-07-11 中科软智(北京)科技有限公司 细粒度对象流量分析方法和装置
CN111368788B (zh) * 2020-03-17 2023-10-27 北京迈格威科技有限公司 图像识别模型的训练方法、装置及电子设备
CN111368789B (zh) * 2020-03-18 2023-05-26 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN111507403A (zh) * 2020-04-17 2020-08-07 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机设备和存储介质
CN112348065A (zh) * 2020-10-28 2021-02-09 安徽省农业科学院农业经济与信息研究所 基于图像卷积特征的复杂背景下害虫细粒度图像识别方法
CN112507903B (zh) * 2020-12-15 2024-05-10 平安科技（深圳）有限公司 假脸检测方法、装置、电子设备及计算机可读存储介质
CN113239947B (zh) * 2021-03-10 2022-09-23 安徽省农业科学院农业经济与信息研究所 一种基于细粒度分类技术的害虫图像分类方法
CN112990147A (zh) * 2021-05-06 2021-06-18 北京远鉴信息技术有限公司 一种涉政图像的识别方法、装置、电子设备及存储介质
CN113255555A (zh) * 2021-06-04 2021-08-13 清华大学 中国交通标志牌识别方法、系统、处理设备及存储介质
CN114841970B (zh) * 2022-05-09 2023-07-18 抖音视界有限公司 检查图像的识别方法、装置、可读介质和电子设备
US20230367854A1 (en) * 2022-05-10 2023-11-16 Bank Of America Corporation Creating feature based image recognition subclasses for identity verification
CN115294350B (zh) * 2022-06-28 2023-08-04 中国科学院自动化研究所 基于粗标签辅助的半监督细粒度图像识别方法和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150030238A1 (en) * 2013-07-29 2015-01-29 Adobe Systems Incorporated Visual pattern recognition in an image
CN105224937A (zh) * 2015-11-13 2016-01-06 武汉大学 基于人体部件位置约束的细粒度语义色彩行人重识别方法
CN105930841A (zh) * 2016-05-13 2016-09-07 百度在线网络技术（北京）有限公司 对图像进行自动语义标注的方法、装置与计算机设备
CN106127232A (zh) * 2016-06-16 2016-11-16 北京市商汤科技开发有限公司 卷积神经网络训练方法和系统、对象分类方法和分类器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10074041B2 (en) * 2015-04-17 2018-09-11 Nec Corporation Fine-grained image classification by exploring bipartite-graph labels
US10424072B2 (en) * 2016-03-01 2019-09-24 Samsung Electronics Co., Ltd. Leveraging multi cues for fine-grained object classification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150030238A1 (en) * 2013-07-29 2015-01-29 Adobe Systems Incorporated Visual pattern recognition in an image
CN105224937A (zh) * 2015-11-13 2016-01-06 武汉大学 基于人体部件位置约束的细粒度语义色彩行人重识别方法
CN105930841A (zh) * 2016-05-13 2016-09-07 百度在线网络技术（北京）有限公司 对图像进行自动语义标注的方法、装置与计算机设备
CN106127232A (zh) * 2016-06-16 2016-11-16 北京市商汤科技开发有限公司 卷积神经网络训练方法和系统、对象分类方法和分类器

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BO ZHAO 等: "Diversified Visual Attention Networks for Fine-Grained Object Classification", 《IEEE TRANSACTIONS ON MULTIMEDIA》 *
NING ZHANG 等: "Part-Based R-CNNs for Fine-Grained Category Detection", 《ECCV 2014》 *
YAMING WANG 等: "Mining Discriminative Triplets of Patches for Fine-Grained Classification", 《CVPR 2016》 *
新智元: "见微知著——细粒度图像分析进展综述", 《HTTPS://WWW.SOHU.COM/A/134764420_473283》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826371A (zh) * 2018-08-10 2020-02-21 京东数字科技控股有限公司 一种动物识别方法、装置、介质及电子设备
CN109068274A (zh) * 2018-09-30 2018-12-21 电子科技大学 一种细粒度指纹质量辅助下的复杂室内环境目标定位方法
CN109068274B (zh) * 2018-09-30 2020-06-16 电子科技大学 一种细粒度指纹质量辅助下的复杂室内环境目标定位方法
CN109740459A (zh) * 2018-12-19 2019-05-10 创新奇智(合肥)科技有限公司 一种图像差异对比方法、系统及无人售货装置
CN109740459B (zh) * 2018-12-19 2021-04-16 创新奇智(合肥)科技有限公司 一种图像差异对比方法、系统及无人售货装置
CN110059654A (zh) * 2019-04-25 2019-07-26 台州智必安科技有限责任公司 一种基于细粒度识别的菜品自动结算及饮食健康管理方法
CN111914599B (zh) * 2019-05-09 2022-09-02 四川大学 一种基于语义信息多层特征融合的细粒度鸟类识别方法
CN111914599A (zh) * 2019-05-09 2020-11-10 四川大学 一种基于语义信息多层特征融合的细粒度鸟类识别方法
CN112149701A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 一种图像识别方法、虚拟样本数据生成方法和存储介质
CN112149701B (zh) * 2019-06-28 2024-05-10 杭州海康威视数字技术股份有限公司 一种图像识别方法、虚拟样本数据生成方法和存储介质
CN111382781A (zh) * 2020-02-21 2020-07-07 华为技术有限公司 获取图像标签的方法、训练图像识别模型的方法和装置
CN111382781B (zh) * 2020-02-21 2023-09-12 华为云计算技术有限公司 获取图像标签的方法、训练图像识别模型的方法和装置
CN111652242A (zh) * 2020-04-20 2020-09-11 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN111652242B (zh) * 2020-04-20 2023-07-04 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN113723407A (zh) * 2021-11-01 2021-11-30 深圳思谋信息科技有限公司 图像分类识别方法、装置、计算机设备和存储介质
WO2024108803A1 (zh) * 2022-11-25 2024-05-30 漳州松霖智能家居有限公司 一种口腔检测方法、装置、系统及相关设备

Also Published As

Publication number Publication date
CN108171257B (zh) 2019-11-26
US10902300B2 (en) 2021-01-26
US20190171904A1 (en) 2019-06-06

Similar Documents

Publication Publication Date Title
CN108171257B (zh) 细粒度图像识别模型训练及识别方法、装置及存储介质
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
Xiao et al. Deep salient object detection with dense connections and distraction diagnosis
CN110175527B (zh) 行人再识别方法及装置、计算机设备及可读介质
Khan et al. A discriminative representation of convolutional features for indoor scene recognition
CN107492379B (zh) 一种声纹创建与注册方法及装置
US9619735B1 (en) Pure convolutional neural network localization
CN113159095A (zh) 一种训练模型的方法、图像检索的方法以及装置
CN109271493B (zh) 一种语言文本处理方法、装置和存储介质
Li et al. Multistage object detection with group recursive learning
CN109325148A (zh) 生成信息的方法和装置
WO2023185785A1 (zh) 一种图像处理方法、模型训练方法及相关装置
CN109117777A (zh) 生成信息的方法和装置
CN108416003A (zh) 一种图片分类方法和装置、终端、存储介质
Wang et al. Afan: Augmented feature alignment network for cross-domain object detection
CN107832662A (zh) 一种获取图片标注数据的方法和系统
Sarvadevabhatla et al. Freehand sketch recognition using deep features
CN109034069A (zh) 用于生成信息的方法和装置
CN108229535A (zh) 涉黄图像审核方法、装置、计算机设备及存储介质
CN111738403B (zh) 一种神经网络的优化方法及相关设备
CN110377905A (zh) 语句的语义表示处理方法及装置、计算机设备及可读介质
Abdulnabi et al. Multimodal recurrent neural networks with information transfer layers for indoor scene labeling
CN107908641A (zh) 一种获取图片标注数据的方法和系统
CN108062416B (zh) 用于在地图上生成标签的方法和装置
Zhu et al. Deep learning in diverse intelligent sensor based systems

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant