CN105844283B - 用于识别图像类目归属的方法、图像搜索方法及装置 - Google Patents
用于识别图像类目归属的方法、图像搜索方法及装置 Download PDFInfo
- Publication number
- CN105844283B CN105844283B CN201510023173.XA CN201510023173A CN105844283B CN 105844283 B CN105844283 B CN 105844283B CN 201510023173 A CN201510023173 A CN 201510023173A CN 105844283 B CN105844283 B CN 105844283B
- Authority
- CN
- China
- Prior art keywords
- classification
- image
- confidence level
- threshold
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本申请公开了一种用于识别图像类目归属的方法及装置，以及一种图像搜索方法及装置。其中，所述用于识别图像类目归属的方法包括：获得待识别图像；确定待识别图像分别属于预先设定的各类目的第一置信度；当第一置信度大于第一阈值的类目的数量小于预定数量时，执行下述操作：针对第一置信度在第二阈值和第一阈值之间的类目，计算待识别图像属于相应互关联的各类目的第二置信度；选择第二置信度排序靠前的若干个目标类目，并将所述第一置信度大于第一阈值的类目与所述目标类目作为待识别图像类目归属的识别结果。采用上述方法，可以尽量抑制由于相同类目图像特征存在差异、不同类目图像特征存在重叠导致的类目识别错误，有效提高类目识别的准确率。
Description
技术领域
本申请涉及图像识别领域，具体涉及一种用于识别图像类目归属的方法。本申请同时提供一种用于识别图像类目归属的装置，以及一种图像搜索方法及装置。
背景技术
随着互联网技术的发展，图像信息在互联网应用中的作用越来越重要，各种与图像处理和分析相关的技术方法都得到了广泛的应用。属于模式识别领域的图像类目(也称为类别)识别技术，就是其中之一。具体到互联网应用中，以商品图像为例，类目识别的目的就是判定图像中的商品属于哪个具体的类目。这种技术在很多应用中起着重要作用，例如，商品类目预测、类目错放判定、以及以图搜图的图像搜索等。
目前，绝大数的图像分类技术通常是对限定为具有较为明确意义范围内的图像进行分类。例如，用于人脸识别的分类技术、用于服装分类等某一特定范围内的图像识别技术等。在这种应用场合下，相同类别图像的特征通常具有一定的一致性，因此，通常可以通过提取特征，然后采用特定的分类器达到类目识别的目的。
如果图像特征比较显著，可以采用k-means聚类，或者贝叶斯最优估计等技术进行分类；如果图像特征无法很好地提取，则通常设计结构复杂的分类器，例如：深度学习网络分类方法，该方法是目前适用范围较为广泛的分类方法，在无法给出图像的具有显著物理含义特征的情况下，通过对大量样本的学习，使深度学习网络收敛于一种复杂的非线性映射网络关系，并可通过该网络的映射，完成对图像的分类。
上述技术在局限于某个特定范围内、并且类别特征不重叠的应用场景下往往能够得到较好的应用。但是在某些互联网的应用场景中，通常要对多达数百、上千个、甚至上万个类目的图像进行分类，一方面类目品种繁多，另一方面在相同类目中的某些图像可能在诸如颜色、纹理等外观特征上具有一定差异的同时，不同类目间的某些图像还具有较大的相似性，甚至还存在更为复杂的情况：不同类目之间还存在一定的重叠性，也就是说不同类目之间存在关联性(也可以将这样的类目称为互关联类目)。在这种情况下，仅仅依靠上述单一的、结构复杂的分类器通常无法很好地完成图像的识别，例如，深度学习网络分类方法，往往会因为逼近最相似的不同类目的目标图像而产生错误分类，导致分类的正确率比较低。
发明内容
本申请实施例提供一种用于识别图像类目归属的方法，以解决现有技术在相同类目图像特征存在差异、不同类目图像特征存在重叠的情况下类目识别准确度低的问题。本申请实施例另外提供一种用于识别图像类目归属的装置，以及一种图像搜索方法及装置。
本申请提供一种用于识别图像类目归属的方法，包括：
获得待识别图像；
确定待识别图像分别属于预先设定的各类目的第一置信度；
当第一置信度大于第一阈值的类目的数量小于预定数量时，执行下述操作：
针对第一置信度在第二阈值和第一阈值之间的类目，计算所述待识别图像属于相应互关联的各类目的第二置信度；
选择第二置信度排序靠前的若干个目标类目，并将所述第一置信度大于第一阈值的类目与所述目标类目作为所述待识别图像类目归属的识别结果。
可选的，当第一置信度大于第一阈值的类目的数量不小于预定数量时，执行下述操作：
选择第一置信度排序靠前的预定数量的类目作为所述待识别图像类目归属的识别结果。
可选的，根据预先构建的深度学习网络模型，确定所述待识别图像分别属于预先设定的各类目的第一置信度。
可选的，所述预先构建的深度学习网络模型，采用如下方法构建：
以深度学习图像集合作为输入，通过迭代的方法构建深度学习网络模型，所述模型包括第一预定数量的卷积层和第二预定数量的全连接层，所述模型用于针对每个输入图像，输出所述图像属于所述预先设定的各类目的置信度。
可选的，在以深度学习图像集合作为输入，通过迭代的方法构建深度学习网络模型之前，执行下述操作：
将所述深度学习图像集合中的图像大小调整到预先设定的尺寸。
可选的，采用预先构建的互关联重分类模型，计算所述待识别图像属于相应互关联的各类目的第二置信度。
可选的，所述预先构建的互关联重分类模型，采用如下方法构建：
以互关联近邻学习图像集合作为输入，采用已构建的深度学习网络模型，获取所述集合中每个图像分别属于预先设定的各类目的置信度分布；
针对每个类目，根据每个输入图像对应的置信度以及输入图像的标记类目，确定用于判定图像不属于所述类目的最大置信度，并将其设定为所述类目的第二阈值；确定用于判定图像属于所述类目的最小置信度，并将其设定为所述类目的第一阈值；
根据所述置信度分布，从所述预先设定的类目中选择满足如下条件的重分类类目：对应于该类目的置信度大于等于第二阈值、且小于等于第一阈值的输入图像，其标记类目不同；所述标记不同的类目为对应重分类类目的互关联类目；
针对每个重分类类目，建立其互关联类目间的近邻关系；
以重分类模型训练图像集合作为输入，对每个重分类类目进行聚类，得到对应于每个重分类类目的、与其互关联类目一一对应的聚类中心；
根据不属于任一聚类中心的输入图像的标记类目，计算发生类目重叠时输入图像归属每个互关联类目的概率值。
可选的，所述互关联类目间的近邻关系，采用如下方式建立：如果标记为A类目的图像，其对应B类目的置信度落在B类目的第二阈值和第一阈值之间，则设置B类目为A类目的左近邻，A类目为B类目的右近邻；如果B类目是A类目的左近邻，且B类目是A类目的右近邻，则设置B类目与A类目为互近邻。
可选的，所述以重分类模型训练图像集合作为输入，对每个重分类类目进行聚类，得到对应于所述重分类类目的、与其互关联类目一一对应的聚类中心，包括：
以重分类模型训练图像集合作为输入，采用已构建的深度学习网络模型，获取所述集合中每个图像分别属于预先设定的各类目的置信度分布；
针对每个重分类类目，执行下述操作：
从所述重分类模型训练图像集合中选择被标记为所述重分类类目的互关联类目、且对应所述重分类类目的置信度位于所述重分类类目的第二阈值和第一阈值之间的图像；
以所选图像的置信度分布作为输入，采用聚类算法进行划分，得到与所述互关联类目数目一致的聚类中心，并确定每个聚类中心的置信区间；
针对所选每个图像，如果其置信度分布位于某聚类中心的置信区间内，则判定该图像属于所述聚类中心；
针对每个聚类中心，将属于其的图像按照标记的类目进行分类统计，取数目最多的类目作为所述聚类中心对应的类目。
可选的，所述聚类中心u的置信区间为：以u为中心、到u的距离小于等于kσ的区间范围；其中，σ为标准差，k为预先设定的参数，取值范围为：大于等于0.5、且小于等于1.5。
可选的，所述针对第一置信度在第二阈值和第一阈值之间的类目，计算所述待识别图像属于相应互关联的各类目的第二置信度，包括：
判断所述图像的置信度分布是否位于所述类目的某个互关联类目对应的聚类中心的置信区间中；
若是，则根据所述图像的置信度分布与所述互关联类目对应的聚类中心之间的距离，设置所述图像属于所述互关联类目的第二置信度，并将所述互关联类目添加到候选列表中；
若否，执行下述操作：
判断所述类目是否有互近邻类目，若有，将所述类目的互近邻类目添加到所述候选列表中，并将其第二置信度设置为预先设定的互近邻置信度；
判断所述类目是否有左近邻类目或者右近邻类目，若有，将所述类目的左近邻或者右近邻类目添加到所述候选列表中，并将其第二置信度设置为发生类目重叠时输入图像归属相应类目的概率值；
可选的，根据所述图像的置信度分布与所述互关联类目对应的聚类中心之间的距离，采用如下公式设置所述图像属于所述互关联类目的第二置信度：第二置信度＝1-d/(kσ)；
其中，d为所述图像的置信度分布与所述聚类中心之间的距离，kσ为定义所述聚类中心的置信区间的相应参数值。
可选的，当第一置信度大于第一阈值的类目的数量小于预定数量时，首先执行下述操作：
判断是否所有类目对应的置信度都小于该类目的第二阈值；
若是，则判定所述待识别图像不属于任何预先设定的类目；
若否，执行所述针对第一置信度在第二阈值和第一阈值之间的类目，计算所述待识别图像属于相应互关联的各类目的第二置信度的步骤。
相应的，本申请还提供一种用于识别图像类目归属的装置，包括：
待识别图像获得单元，用于获得待识别图像；
第一置信度确定单元，用于确定待识别图像分别属于预先设定的各类目的第一置信度；
类目数量判断单元，用于判断第一置信度大于第一阈值的类目的数量是否小于预定数量；
第二置信度计算单元，用于当第一置信度大于第一阈值的类目的数量小于预定数量时，针对第一置信度在第二阈值和第一阈值之间的类目，计算所述待识别图像属于相应互关联的各类目的第二置信度；
识别结果生成单元，用于选择第二置信度排序靠前的若干个目标类目，并将所述第一置信度大于第一阈值的类目与所述目标类目作为所述待识别图像类目归属的识别结果。
可选的，所述装置包括：
直接归属类目选择单元，用于当第一置信度大于第一阈值的类目的数量不小于预定数量时，选择第一置信度排序靠前的预定数量的类目作为所述待识别图像类目归属的识别结果。
可选的，所述第一置信度确定单元具体用于，根据预先构建的深度学习网络模型，确定所述待识别图像分别属于预先设定的各类目的第一置信度。
可选的，所述装置包括：
深度学习网络模型构建单元，用于以深度学习图像集合作为输入，通过迭代的方法构建深度学习网络模型，所述模型包括第一预定数量的卷积层和第二预定数量的全连接层，所述模型用于针对每个输入图像，输出所述图像属于所述预先设定的各类目的置信度。
可选的，所述深度学习网络模型构建单元除了包括实现其功能的本体子单元外，还包括图像尺寸调整子单元，用于在构建深度学习网络模型之前，将所述深度学习图像集合中的图像大小调整到预先设定的尺寸。
可选的，所述第二置信度计算单元具体用于，采用预先构建的互关联重分类模型，计算所述待识别图像属于相应互关联的各类目的第二置信度。
可选的，所述装置包括：
互关联重分类模型构建单元，用于预先构建互关联重分类模型；所述单元包括：
第一置信度分布获取子单元，用于以互关联近邻学习图像集合作为输入，采用已构建的深度学习网络模型，获取所述集合中每个图像分别属于预先设定的各类目的置信度分布；
阈值确定子单元，用于针对每个类目，根据每个输入图像对应的置信度以及输入图像的标记类目，确定用于判定图像不属于所述类目的最大置信度，并将其设定为所述类目的第二阈值；确定用于判定图像属于所述类目的最小置信度，并将其设定为所述类目的第一阈值；
重分类类目选择子单元，用于根据所述置信度分布，从所述预先设定的类目中选择满足如下条件的重分类类目：对应于该类目的置信度大于等于第二阈值、且小于等于第一阈值的输入图像，其标记类目不同；所述标记不同的类目为对应重分类类目的互关联类目；
近邻关系构建子单元，用于针对每个重分类类目，建立其互关联类目间的近邻关系；
聚类分析子单元，用于以预先选取的重分类模型训练图像集合作为输入，对每个重分类类目进行聚类，得到对应于每个重分类类目的、与其互关联类目一一对应的聚类中心；
重叠概率计算子单元，用于根据不属于任一聚类中心的输入图像的标记类目，计算发生类目重叠时输入图像归属每个互关联类目的概率值。
可选的，所述聚类分析子单元包括：
第二置信度分布获取子单元，用于以重分类模型训练图像集合作为输入，采用已构建的深度学习网络模型，获取所述集合中每个图像分别属于预先设定的各类目的置信度分布；
循环控制子单元，用于针对每个重分类类目，依次触发下述子单元工作；
样本图像选择子单元，用于从所述重分类模型训练图像集合中选择被标记为所述重分类类目的互关联类目、且对应所述重分类类目的置信度位于所述重分类类目的第二阈值和第一阈值之间的图像；
聚类子单元，用于以所选图像的置信度分布作为输入，采用聚类算法进行划分，得到与所述互关联类目数目一致的聚类中心，并确定每个聚类中心的置信区间；
图像归属判断子单元，用于针对所选每个图像，判断其置信度分布是否位于某聚类中心的置信区间内，若是，则判定该图像属于所述聚类中心；
聚类中心类目确定子单元，用于针对每个聚类中心，将属于其的图像按照标记的类目进行分类统计，取数目最多的类目作为所述聚类中心对应的类目。
可选的，所述第二置信度计算单元包括：
类目循环控制子单元，用于针对其置信度在预先设定的第二阈值和第一阈值之间的类目，依次触发下述子单元工作；
聚类中心判断子单元，用于判断所述图像的置信度分布是否位于所述类目的某个互关联类目对应的聚类中心的置信区间中；
聚类置信度设置子单元，用于当所述聚类中心判断子单元的输出为是时，根据所述图像的置信度分布与所述互关联类目对应的聚类中心之间的距离，设置所述图像属于所述互关联类目的第二置信度，并将所述互关联类目添加到候选列表中；
近邻置信度设置子单元，用于当所述聚类中心判断子单元的输出为否时，判断所述类目是否有互近邻类目，若有，将所述类目的互近邻类目添加到所述候选列表中，并将其第二置信度设置为预先设定的互近邻置信度；判断所述类目是否有左近邻类目或者右近邻类目，若有，将所述类目的左近邻或者右近邻类目添加到所述候选列表中，并将其第二置信度设置为发生类目重叠时输入图像归属相应类目的概率值。
可选的，所述聚类置信度设置子单元具体用于，采用如下公式设置所述图像属于所述互关联类目的第二置信度：第二置信度＝1-d/(kσ)；
其中，d为所述图像的置信度分布与所述聚类中心之间的距离，kσ为定义所述聚类中心的置信区间的相应参数值。
可选的，所述装置包括：
第二阈值判断单元，用于当第一置信度大于第一阈值的类目的数量小于预定数量时，判断是否所有类目对应的置信度都小于为该类目预先设定的第二阈值；若是，则判定所述待识别图像不属于任何预先设定的类目；否则触发所述第二置信度计算单元工作。
此外，本申请还提供一种图像搜索方法，包括：
获得待搜索的样本图像；
确定所述样本图像的类目；
在所述类目的候选图像中，查找与所述样本图像相匹配的图像，并将找到的图像作为本次的搜索结果；
其中，所述样本图像的类目通过以下方法确定：
确定待识别的样本图像分别属于预先设定的各类目的第一置信度；
当第一置信度大于第一阈值的类目的数量小于预定数量时，执行下述操作：
针对第一置信度在第二阈值和第一阈值之间的类目，计算所述待识别的样本图像属于相应互关联的各类目的第二置信度；
选择第二置信度排序靠前的若干个目标类目，并将所述第一置信度大于第一阈值的类目与所述目标类目作为所述待识别的样本图像类目归属的识别结果。
可选的，在所述类目的候选图像中，查找与所述样本图像相匹配的图像，包括：
提取所述样本图像的图像特征，作为样本特征；
在所述类目的候选图像中，查找其图像特征与所述样本特征相匹配的候选图像。
可选的，采用深度学习算法或者SIFT特征提取算法，提取所述样本图像的图像特征。
相应的，本申请还提供一种图像搜索装置，包括：
样本图像获得单元，用于获得待搜索的样本图像；
图像类目确定单元，用于确定所述样本图像的类目；
匹配图像查找单元，用于在所述类目的候选图像中，查找与所述样本图像相匹配的图像，并将找到的图像作为本次的搜索结果；
其中，所述图像类目确定单元包括：
第一置信度确定子单元，用于确定待识别的样本图像分别属于预先设定的各类目的第一置信度；
类目数量判断子单元，用于判断第一置信度大于第一阈值的类目的数量是否小于预定数量；
第二置信度计算子单元，用于当第一置信度大于第一阈值的类目的数量小于预定数量时，针对第一置信度在第二阈值和第一阈值之间的类目，计算所述待识别的样本图像属于相应互关联的各类目的第二置信度；
识别结果生成子单元，用于选择第二置信度排序靠前的若干个目标类目，并将所述第一置信度大于第一阈值的类目与所述目标类目作为所述待识别的样本图像类目归属的识别结果。
可选的，所述匹配图像查找单元包括：
特征提取子单元，用于提取所述样本图像的图像特征，作为样本特征；
查找执行子单元，用于在所述类目的候选图像中，查找其图像特征与所述样本特征相匹配的候选图像。
可选的，所述特征提取子单元具体用于采用深度学习算法或者SIFT特征提取算法，提取所述样本图像的图像特征。
与现有技术相比，本申请具有以下优点:
本申请实施例提供的一种用于识别图像类目归属的方法，通过确定待识别图像分别属于预先设定的各类目的第一置信度，并且当第一置信度大于第一阈值的类目的数量小于预定数量时，针对第一置信度在第二阈值和第一阈值之间的类目，计算所述待识别图像属于相应互关联的各类目的第二置信度，并将第二置信度排序靠前的若干个目标类目，与所述第一置信度大于第一阈值的类目作为所述待识别图像类目归属的识别结果。上述方法在确定第一置信度的基础上，对于无法明确识别图像所属类目的情况，通过计算所述待识别图像属于互关联各类目的第二置信度作进一步的甄别，从而尽量抑制由于相同类目图像特征存在差异、不同类目图像特征存在重叠导致的类目识别错误，有效提高类目识别的准确率。
附图说明
图1是本申请的一种用于识别图像类目归属的方法实施例的流程图；
图2是本实施例提供的深度学习网络模型结构示意图；
图3是本实施例提供的构建互关联重分类模型的处理过程的流程图；
图4是本实施例提供的进行聚类分析的处理流程图；
图5是本实施例提供的采用预先构建的互关联重分类模型计算所述待识别图像属于相应互关联的各类目的第二置信度的处理流程图；
图6是本申请的一种用于识别图像类目归属的装置实施例的示意图；
图7是本申请的一种图像搜索方法的实施例的流程图；
图8是本申请的一种图像搜索装置的实施例的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似扩展，因此本申请不受下面公开的具体实施例的限制。
在本申请实施例中，分别提供了一种用于识别图像类目归属的方法，一种用于识别图像类目归属的装置，一种图像搜索方法，以及一种图像搜索装置，在下面的实施例中逐一进行详细说明。
请参考图1，其为本申请的一种用于识别图像类目归属的方法实施例的流程图。所述方法包括如下步骤：
步骤101：获得待识别图像。
所述待识别图像，可以是从计算机中读取的，或者是从具有摄像装置的设备中读取的，例如：手机、照相机等；也可以是通过网络从客户端接收的，例如：淘宝平台的卖家希望获知宝贝所属类目，通常会通过网络发送类目识别请求，本申请实施例提供的技术方案对接收到的图像，进行类目识别，并向卖家返回类目识别结果。
步骤102：确定待识别图像分别属于预先设定的各类目的第一置信度。
本实施例的技术方案，首先通过确定待识别图像分别属于预先设定的各类目的第一置信度，选择所述待识别图像明确归属的类目，然后针对不确定的类目，通过计算所述待识别图像属于互关联各类目的第二置信度作进一步的甄别，从而尽量抑制由于相同类目图像特征存在差异、不同类目图像特征存在重叠导致的类目识别错误，有效提高类目识别的准确率。
在具体实施时，确定所述第一置信度、以及计算所述第二置信度可以采用多种方式，例如，大数据挖掘、统计概率分析、神经网络等技术，在此基础上，本实施例提供了一种优选实施方式：采用深度学习网络模型确定所述第一置信度，采用互关联重分类模型计算所述第二置信度，通过两者的有机结合，提高识别图像类目归属的准确度。
为了实现上述目的，可以预先构建所述深度学习网络模型和所述互关联重分类模型。下面分别描述上述两个模型的构建过程。
深度学习(Deep learning)的概念从人工神经网络而来，主要是从仿生学的角度模拟脑神经系统的层次结构，通过对低层特征的逐层组合与抽象，形成更加抽象的高层来表示事物的属性类别或特征，以发现数据的分布式特征表示，从而实现对数据的本质信息的深度挖掘。
本申请实施例所述的深度学习网络模型，可以是具有多层结构的神经网络模型，通常包含卷积层和全连接层。该模型的训练过程如下：输入作为训练数据的深度学习图像集合中的图像，经过一定数量的卷积层后，获得输入图像的高维(例如4096维)图像特征，将该高维图像特征作为所述全连接层的输入进行训练学习，并通过误差回馈的迭代逼近方法训练该模型，待迭代训练过程收敛后，就构建好了用于识别输入图像类目归属的深度学习网络模型。针对给定的输入图像，该模型的输出为N维矢量，表示输入图像分别属于N个预定类别的置信度，置信度的取值范围在0～1之间，通常可以这样认为，随着置信度取值的增大，输入图像归属相应类目的可信度也相应增大。
在本实施例的一个具体例子中，提供了构建深度学习网络模型的一种优选实施方式，所述深度学习网络模型包括5个卷积层和3个全连接层，请参见图2，其为该深度学习网络模型结构示意图。
考虑到模型训练学习的无偏性，在所述深度学习图像集合中，为每个类目提供的训练样本图像的数目是基本相同的，例如，都是1万个左右。
此外，在进行深度学习网络训练之前，为了适应网络结构的需要，可以将深度学习图像集合中的训练样本图像的尺寸调整到统一的大小，考虑到对网络图像、以及手机或照相机拍摄图像的兼容，在上述具体例子中可以将图像尺寸调整至256*256像素、128*128像素或者192*192像素等。同理，为了获取更为准确的类目识别结果，对于后续构建互关联重分类模型所使用的互关联近邻学习图像集合和重分类模型训练图像集合中的图像，以及本步骤中的所述待识别图像，都可以调整到所述统一的大小，在后续的文字中不再对此一一说明。
需要说的是，上面给出的是一个具体的例子，在不同的实施方式中可以构建不同的深度学习网络模型，例如，卷积层和全连接层的数目可以不同于上述例子，对图像尺寸，也可以根据具体需要进行相应的调整。
上面对预先构建的深度学习网络模型进行了说明，下面描述构建互关联重分类模型的过程。引入互关联重分类模型是实现本申请技术方案的核心，构建该模型包括确定每个类目的第一阈值和第二阈值、构建近邻关系、以及进行聚类分析等过程，具体说包括以下步骤102-1至步骤102-5，下面结合附图3作进一步说明。
步骤102-1：以互关联近邻学习图像集合作为输入，采用已构建的深度学习网络模型，获取所述集合中每个图像分别属于预先设定的各类目的置信度分布。
所述互关联近邻学习图像集合可以是预先选取的，也可以是实时生成的，通常不同于构建深度学习网络模型所采用的训练图像集合，互关联近邻学习图像集合中的图像具有相对准确的标记类目(也称为标注类目或真实类目)，图像噪音比较低。
将所述互关联近邻学习图像集合中的图像，依次输入到已构建的深度学习网络模型中，该模型输出每个图像归属预先设定的各类目的第一置信度，对于一个输入图像来说，深度学习网络模型输出的各个第一置信度的集合，也可以称作该图像的置信度分布。
步骤102-2：确定每个类目的第一阈值和第二阈值。
针对每个类目，根据每个输入图像对应的置信度以及输入图像的标记类目，确定用于判定图像不属于所述类目的最大置信度，并将其设定为所述类目的第二阈值；确定用于判定图像属于所述类目的最小置信度，并将其设定为所述类目的第一阈值。
为了便于理解，下面举一个具体的例子进行说明，在该例子中输入图像共有13个，预先设定的类目有5个：女装、连衣裙、男装、女鞋、化妆品，深度学习网络模型针对每个图像输出的置信度分布如下表所示(作为例子，省略了其中对应男装、女鞋、化妆品类目的置信度)：
表一置信度分布示意
| 女装 | 连衣裙 | 男装 | 女鞋 | 化妆品 | |
| 图像1标记女装 | 0.3 | 0.24 | ...... | ...... | ...... |
| 图像2标记女装 | 0.32 | 0.34 | ...... | ...... | ...... |
| 图像3标记女装 | 0.40 | 0.20 | ...... | ...... | ...... |
| 图像4标记男装 | 0.34 | 0.01 | ...... | ...... | ...... |
| 图像5标记男装 | 0.001 | 0.03 | ...... | ...... | ...... |
| 图像6标记女鞋 | 0.002 | 0.005 | ...... | ...... | ...... |
| 图像7标记女鞋 | 0.003 | 0.004 | ...... | ...... | ...... |
| 图像8标记连衣裙 | 0.004 | 0.7 | ...... | ...... | ...... |
| 图像9标记连衣裙 | 0.14 | 0.93 | ...... | ...... | ...... |
| 图像10标记连衣裙 | 0.34 | 0.45 | ...... | ...... | ...... |
| 图像11标记化妆品 | 0.03 | 0.12 | ...... | ...... | ...... |
| 图像12标记化妆品 | 0.0001 | 0.004 | ...... | ...... | ...... |
| 图像13标记化妆品 | 0.23 | 0.003 | ...... | ...... | ...... |
以女装类目为例，针对每个图像对应的置信度依次统计：大于该值时错误样本(没有被标记为女装的样本)的个数，和小于该值时正确样本(被标记为女装的样本)的个数，然后取错误样本数为0对应的置信度的最小值0.34作为女装类目的第一阈值，即thhigh＝0.34，取正确样本数为0对应的置信度的最大值0.3作为女装类目的第二阈值，即thlow＝0.3。对于女装类目来说，当置信度大于thhigh时，所有输入图像都是正确的样本，当置信度小于thlow时，所有输入图像都是错误的样本。
也就是说，对于某个待进行类目预测的输入图像，如果深度学习网络模型输出的对应女装类目的置信度大于thhigh，则可以判定所述输入图像属于女装类目，如果对应的置信度小于thlow，则可以判定所述输入图像不属于该类目。
对于其他预先设定的类目：连衣裙、男装、女鞋、化妆品，依次采用上述处理过程，就可以确定每个类目对应的第一阈值和第二阈值。
需要说明的是，上述给出的例子仅仅是示意性的，在具体的实施中，预先设定的类目种类更为复杂、作为训练样本的输入图像的数量通常会更多，但是都可以采用上述方法获取每个类目对应的第一阈值和第二阈值。
步骤102-3：根据所述置信度分布，从所述预先设定的类目中选择重分类类目。
根据所述置信度分布，从所述预先设定的类目中选择满足如下条件的类目：对应于该类目的置信度大于等于第二阈值、且小于等于第一阈值的输入图像，其标记类目不同(即标记为不同类目的数目大于等于2)。仍以上述表一给出的置信度分布为例，对于女装类目来说，thhigh＝0.34，thlow＝0.3，置信度在[0.3，0.34]区间之内、且样本图像的标记类目不同的有图像1、图像4和图像10，其中图像1对应女装的置信度为0.3，图像4对应女装的置信度为0.34，图像10对应女装的置信度为0.34，这三个图像分别被标记为三个类目：女装、男装、连衣裙，也就是说这三个类目的图像都容易被识别为女装类目，因此女装类目是容易发生错误识别的类目，如果某个输入图像针对女装类目的置信度落在[0.3，0.34]区间之内，则需要对该输入图像归属的类目重新进行分类判定，因此，女装类目即为本步骤所述的重分类类目，与其对应的互关联的各类目(下文中简称互关联类目)有三个：连衣裙、女装、男装。
对预先设定的各个类目都采用上述方法进行分析，可以选择出全部重分类类目，以及每个重分类类目对应的互关联类目。
步骤102-4：针对每个重分类类目，建立其互关联类目间的近邻关系。
所述互关联类目间的近邻关系可以是指，被标记为A类目的图像，其对应B类目的置信度落在B类目的第二阈值和第一阈值之间，则B类目为A类目的左近邻，A类目为B类目的右近邻；如果B类目是A类目的左近邻，且B类目是A类目的右近邻，则B类目与A类目为互近邻。
仍沿用步骤102-3中的例子进行说明，对应于女装类目有三个互关联类目：女装、男装和连衣裙，其中标记为男装类目的图像4，其对应于女装类目的置信度落在女装类目的第二阈值和第一阈值之间(即真实标记为男装类目的图像，容易被识别为属于女装类目)，因此男装类目是女装类目的右近邻，同样的道理，连衣裙类目也是女装类目的右近邻，而女装类目则是男装类目和连衣裙类目的左近邻。
采用上述方法对步骤102-3得到的每个重分类类目进行分析，可以为每个重分类类目的互关联类目之间建立起左近邻或者右近邻关系，将上述关系汇总，可以进一步建立互近邻关系。
例如，采用上述方法对表一中的连衣裙类目进行分析，可以得出：女装是连衣裙的右近邻，连衣裙是女装的左近邻，将该关系与女装类目的分析结果综合起来，就可以知道，连衣裙类目与女装类目为互近邻。
步骤102-5：以重分类模型训练图像集合作为输入进行聚类分析，构建互关联重分类模型。
本步骤以重分类模型训练图像集合作为输入，对每个重分类类目进行聚类，得到对应于每个重分类类目的、与其互关联类目一一对应的聚类中心，并根据不属于任一聚类中心的输入图像的标记类目，计算发生类目重叠时输入图像归属每个互关联类目的概率值。
在本步骤中，通常要求所述重分类模型训练图像集合中的每个图像标注的类目是准确的，与前面的深度学习图像集合、以及互关联近邻学习图像集合相比，该集合中的图像噪音最低、标注最为准确，建议采用人工标注的方式。
选取满足上述要求的重分类模型训练图像集合后，以所述图像集合作为输入，采用已构建的深度学习网络模型，获取所述集合中每个图像分别属于预先设定的各类目的置信度分布。随后，根据获取的置信度分布，针对每个重分类类目，采用如下所示的步骤102-5-1至102-5-5进行聚类分析，下面结合附图4对该过程作进一步说明。
步骤102-5-1：选择进行聚类分析的样本图像。
从所述重分类模型训练图像集合中选择被标记为所述重分类类目的互关联类目、且对应所述重分类类目的置信度位于所述重分类类目的第二阈值和第一阈值之间的图像。
例如，仍沿用上述例子，对于女装类目，从所述重分类模型训练图像集合中选择被标记为女装、男装以及连衣裙的、且对应于女装类目的置信度处于[0.3，0.34]区间之内的图像，作为后续进行聚类分析的样本图像。
步骤102-5-2：采用聚类算法划分聚类中心。
所谓聚类，就是给定一个元素集合D，其中每个元素具有n个可观察属性，使用某种算法将D划分成k个子集，要求每个子集内部的元素之间相异度尽可能低，而不同子集的元素相异度尽可能高。
针对聚类问题有不同的聚类算法，本实施例提供一种优选实施方式，采用比较简单、应用比较普及的k均值聚类算法(k-means算法)，在k-means算法中的相异度通常采用欧式距离进行计算。具体说，以所选图像的置信度分布作为输入，采用k-means算法进行聚类，得到与所述互关联类目数目一致的聚类中心，并确定每个聚类中心的置信区间；所述聚类中心u的置信区间为：以u为中心、到u的距离小于等于kσ的区间范围，通常习惯表示为：u±kσ；其中σ为标准差，k为预先设定的参数，可以根据具体的需求或者经验设置其取值，例如，可以设置k的取值范围为0.5～1.5。
步骤102-5-3：确定归属每个聚类中心的样本图像。
针对所选的每个样本图像，计算其置信度分布与每个聚类中心之间的距离(例如：欧式距离)，如果其与某个聚类中心的距离小于等于kσ，则认为其置信度分布位于该聚类中心的置信区间内，因此可以判定该样本图像属于所述聚类中心。
步骤102-5-4：确定聚类中心对应的类目。
经过上述步骤102-5-3的处理，所选的每个样本图像可能属于某个聚类中心，也可能不属于任何聚类中心。在本步骤中，根据上述结果，针对每个聚类中心进行如下处理：对属于该聚类中心的样本图像按照其标记类目进行分类、并进行数目统计，并且将数目最多的类目作为该聚类中心对应的类目。
仍沿用上述例子，在步骤102-5-3中，针对女装类目，通过聚类分析，得到了三个聚类中心，在步骤102-5-3中，确定了每个样本图像所属的聚类中心，如果属于某个聚类中心的样本图像有100个，其中90个图像的标记类目为女装，则可以确定该聚类中心对应的类目是女装。同样的道理，可以确定其他两个聚类中心分别与男装类目和连衣裙类目相对应。
步骤102-5-5：计算发生类目重叠时输入图像归属每个互关联类目的概率值。
在步骤102-5-3确定归属每个聚类中心的样本图像的过程中，通常会存在部分样本图像不属于所述互关联类目中的任何类目(其置信度分布没有落在任意一个聚类中心的置信区间中)，这种情况下，说明该样本图像落在了互关联类目的重叠区间中，采用深度学习网络或者聚类算法通常无法做出准确的识别，因此本申请采取根据人工标记类目计算概率值的方式。
可以这样认为，互关联类目之间存在重叠，可能是因为类目定义自身存在交叠导致的，而所述重分类模型训练图像集合中的图像都是采用人工准确标注的，可以反映出用户对于图像中客体归属类目的常规判断，因此可以基于人工标注，计算落在重叠区域中的图像归属某个互关联类目的概率，并在识别图像类目归属时，基于该概率进行判断。
仍沿用上述例子，针对女装类目，在输入样本图像中，如果有10个图像不属于任意一个互关联类目的聚类中心，即，落在了互关联类目的重叠区域中，其中有3个图像的标记类目是女装、2个图像的标记类目是男装，5个图像的标记类目是连衣裙，则可以计算出：在类目重叠的情况下，输入图像归属为女装的概率是0.3，归属为男装的概率是0.2，归属为连衣裙的概率是0.5。
针对每个重分类类目，执行上述步骤102-5-1至步骤102-5-5，从而完成对每个重分类类目的聚类分析。需要说明的是，上述给出的例子都是示意性的，是为了便于解释本申请技术方案的基本原理，而不是用于限定本申请的技术方案。
至此，通过步骤102-1至步骤102-5，针对每个重分类类目的互关联类目，进行了近邻关系构建，完成其局部限定，即，将可能错分以及重叠类目的样本，限定为少数类目的聚类问题，回避了多类目间的相互干扰；然后进一步通过聚类学习的方法，构建聚类中心，并计算发生重叠时图像归属互关联类目的相应概率值。在该过程中针对每个重分类类目构建的近邻关系、聚类中心、以及发生类目重叠时的相应概率值，共同组成了本实施例所述的互关联重分类模型。
上面对预先构建深度学习网络模型和互关联重分类模型的过程进行了说明，下面重点描述如何使用上述两个模型识别图像类目归属。
本步骤采用预先构建的深度学习网络模型，获取待识别图像分别属于预先设定的各类目的置信度。
具体说，可以将所述待识别图像输入所述预先构建的深度学习网络模型，该模型输出待识别图像分别属于预先设定的各类目的置信度。
步骤103：判断第一置信度大于第一阈值的类目的数量是否小于预定数量，若是，执行步骤104。
在具体的类目识别应用中，通常可以按照预先设定的数量(下文简称类目归属数量)输出相应的识别结果，例如，预先设定类目归属数量为3，那么针对某个输入图像，通常可以输出3个或者3个以上该图像归属的类目。
根据步骤102中深度学习网络模型的输出，对每一个类目逐一进行判断，如果所述待识别图像对应于该类目的置信度大于为该类目预先设定的第一阈值，即，在构建互关联重分类模型的过程中为该类目设定的第一阈值(请参见步骤102-2中的说明)，则可以直接判定待识别图像归属于该类目，可以将这样的类目称为所述待识别图像的直接归属类目。
如果直接归属类目的数量小于预先设定的类目归属数量，则执行步骤104，采用预先构建的互关联重分类模型进行进一步的识别。
否则，说明所述待识别图像明确归属的类目数量已经满足要求，针对这种情况，本实施例相应地提供了如下所示的优选处理方式：将所述直接归属类目按照所述第一置信度排序后，从中选择排序靠前的预定数量的类目作为所述待识别图像类目归属的识别结果。
具体说，将所述直接归属类目按照所述深度学习网络模型输出的第一置信度从高到低进行排序，并根据预先设定的类目归属数量，从最高位开始选择相应数量的类目作为识别结果。例如，预先设定的类目归属数量为3，则从直接归属类目中选择置信度最高的三个类目作为待识别图像所属类目的识别结果，即，通常所说的Top1类目、Top2类目以及Top3类目。
在具体实施时，也可以选择大于类目归属数量的类目，例如，可以根据预先设定的阈值，选择排序靠前、并且第一置信度大于所述阈值的所有类目，作为本次的识别结果。
步骤104：针对第一置信度在第二阈值和第一阈值之间的类目，计算所述待识别图像属于相应互关联的各类目的第二置信度。
执行此步骤，说明直接归属类目的数量不满足预先设定的类目归属数量，在这种情况下，可以先判断是否所有类目对应的第一置信度都小于为该类目预先设定的第二阈值。对于某个类目来说，如果所述待识别图像对应该类目的置信度低于该类目的第二阈值，说明所述待识别图像不属于该类目，如果每个类目都是同样的情况，则判定所述待识别图像不属于任何预先设定的类目；否则，针对第一置信度在第二阈值和第一阈值之间的类目，采用预先构建的互关联重分类模型，计算所述待识别图像属于相应互关联类目的置信度。
对于那些第一置信度处于预先设定的第二阈值和第一阈值之间的类目，说明所述待识别图像存在属于该类目的互关联类目的可能性，需要采用预先构建的互关联重分类模型进一步识别。针对每个这样的类目，按照下述步骤104-1至步骤104-3计算待识别图像属于所述互关联类目的第二置信度，下面结合附图5作进一步说明。
步骤104-1：判断所述图像的置信度分布是否位于所述类目的某个互关联类目对应的聚类中心的置信区间中；若是，执行步骤104-2，否则，执行步骤104-3。
依次计算所述图像的置信度分布与所述类目的每个互关联类目聚类中心之间的距离(例如，欧式距离)，由于每个聚类中心u的置信区间为u±kσ，其中kσ的值在所述互关联重分类模型中是确定的(请参见步骤102-5-2中的说明)，如果所述图像的置信度分布与某个聚类中心的距离小于等于该聚类中心的kσ,则执行步骤104-2根据距离设置第二置信度，否则执行步骤104-3根据近邻关系和重叠概率设置第二置信度。
步骤104-2：根据所述图像的置信度分布与所述聚类中心的距离，设置所述图像属于所述互关联类目的第二置信度。
根据所述图像的置信度分布与所述互关联类目对应的聚类中心之间的距离，设置所述图像属于所述互关联类目的第二置信度，并将所述互关联类目添加到候选列表中。
具体说，可以采用如下公式设置所述第二置信度：第二置信度＝1-d/(kσ)；
其中，d为所述图像的置信度分布与所述聚类中心之间的距离，kσ为定义所述聚类中心的置信区间的相应参数值，通常也称为置信区间的半径r；通过该计算得到的第二置信度，其取值范围在0～1之间。
步骤104-3：根据所述类目的近邻关系，设置所述图像属于相应互关联类目的第二置信度。
执行到本步骤，说明所述图像不属于所述类目的任何一个聚类中心，而是落在了重叠类目区间中，这种情况下可以根据近邻关系进行第二置信度设置。
首先，判断所述类目是否有互近邻类目，若有，将所述类目的互近邻类目添加到所述候选列表中，并将其第二置信度设置为预先设定的互近邻置信度；由于互近邻关系，代表两个类目彼此都容易被识别为对方，因此通常可以将所述互近邻置信度设置为一个属于0～1范围内的比较大的数值，例如，1。
然后，判断所述类目是否有左近邻类目或者右近邻类目，若有，将所述类目的左近邻或者右近邻类目添加到所述候选列表中，并将其第二置信度设置为发生重叠时图像归属相应类目的概率值(请参见步骤102-5-5中的说明)。
步骤105：选择第二置信度排序靠前的若干个目标类目，并将所述第一置信度大于第一阈值的类目与所述目标类目作为所述待识别图像类目归属的识别结果。
对于可能存在错误识别或者类目重叠的问题，本实施例在步骤104中采用互关联重分类模型重新进行了类目的识别，计算得到了所述待识别图像属于相应互关联的各类目的第二置信度。
具体说，由于相同类目图像特征存在差异，深度学习网络模型可能会因为逼近最相似的不同类目，导致输出的第一置信度可能并不准确，针对深度学习网络模型可能存在的上述问题，在步骤104中采用计算置信度分布与互关联类目聚类中心之间距离的方式，重新进行类目的识别，并计算相应的第二置信度；针对由于类目划分、或者类目名称语义交叠而产生的类目重叠问题，在步骤104中采用大部分用户认可的常规类目标记方式，重新进行类目的识别，并设置相应的第二置信度。
在本步骤中，可以综合考虑上述两个方面的因素，将所述候选列表中的互关联类目按照所述第二置信度从高到低进行排序，选择排序靠前的若干个目标类目，并将第一置信度大于第一阈值的类目与所述目标类目作为所述待识别图像类目归属的识别结果。
例如，预先设定的类目归属数量为3，根据深度学习网络模型输出的第一置信度，确定所述待识别图像的直接归属类目只有1个(只有一个类目的置信度大于该类目的第一阈值)，随后采用互关联重分类模型进行重分类，得到了所述待识别图像类目归属的候选列表，该列表中记录了所述图像可能归属的互关联类目以及对应的第二置信度。在本步骤中，可以将所述直接归属类目作为Top1类目，并从所述候选列表中根据第二置信度的大小选择两个类目：选择第二置信度最高的类目作为Top2类目、第二置信度次高的类目作为Top3类目，并将这三个类目作为所述待识别图像类目归属的识别结果。
上面给出的例子中，识别结果包含的类目数量与所述预先设定的类目归属数量一致。在具体实施中，也可以选择大于类目归属数量的类目，例如，可以根据预先设定的阈值，从已排序的互关联类目中选择排序靠前、并且第二置信度大于所述阈值的所有类目，与所述直接归属类目一起作为本次的识别结果。
至此，通过步骤101至步骤105，对本实施例提供的用于识别图像类目归属的方法进行了详细描述。需要说明的是，其中描述的预先构建深度学习网络模型和互关联重分类模型的过程通常只需要执行一次，或者根据需要按照一定的时间间隔定期对模型进行重构或者更新，而步骤101至105则可以根据需求重复、多次执行，每次都采用最近一次构建好的深度学习网络模型和互关联重分类模型，对待识别图像的类目归属进行判定。
综上所述，本申请实施例提供的用于识别图像类目归属的方法，首先通过确定待识别图像分别属于预先设定的各类目的第一置信度，选择所述待识别图像明确归属的类目，然后针对不确定的类目，通过计算所述待识别图像属于互关联各类目的第二置信度作进一步的甄别，从而尽量抑制由于相同类目图像特征存在差异、不同类目图像特征存在重叠导致的类目识别错误，有效提高类目识别的准确率。
在上述的实施例中，提供了一种用于识别图像类目归属的方法，与之相对应的，本申请还提供一种用于识别图像类目归属的装置。请参看图6，其为本申请的一种用于识别图像类目归属的装置实施例示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
与上述用于识别图像类目归属方法相对应的，本实施例的一种用于识别图像类目归属的装置，包括：待识别图像获得单元601，用于获得待识别图像；第一置信度确定单元602，用于确定待识别图像分别属于预先设定的各类目的第一置信度；类目数量判断单元603，用于判断第一置信度大于第一阈值的类目的数量是否小于预定数量；第二置信度计算单元604，用于当第一置信度大于第一阈值的类目的数量小于预定数量时，针对第一置信度在第二阈值和第一阈值之间的类目，计算所述待识别图像属于相应互关联的各类目的第二置信度；识别结果生成单元605，用于选择第二置信度排序靠前的若干个目标类目，并将所述第一置信度大于第一阈值的类目与所述目标类目作为所述待识别图像类目归属的识别结果。
可选的，所述装置包括：
直接归属类目选择单元，用于当第一置信度大于第一阈值的类目的数量不小于预定数量时，选择第一置信度排序靠前的预定数量的类目作为所述待识别图像类目归属的识别结果。
可选的，所述第一置信度确定单元具体用于，根据预先构建的深度学习网络模型，确定所述待识别图像分别属于预先设定的各类目的第一置信度。
可选的，所述装置包括：
深度学习网络模型构建单元，用于以深度学习图像集合作为输入，通过迭代的方法构建深度学习网络模型，所述模型包括第一预定数量的卷积层和第二预定数量的全连接层，所述模型用于针对每个输入图像，输出所述图像属于所述预先设定的各类目的置信度。
可选的，所述深度学习网络模型构建单元除了包括实现其功能的本体子单元外，还包括图像尺寸调整子单元，用于在构建深度学习网络模型之前，将所述深度学习图像集合中的图像大小调整到预先设定的尺寸。
可选的，所述第二置信度计算单元具体用于，采用预先构建的互关联重分类模型，计算所述待识别图像属于相应互关联的各类目的第二置信度。
可选的，所述装置包括：
互关联重分类模型构建单元，用于预先构建互关联重分类模型；所述单元包括：
第一置信度分布获取子单元，用于以互关联近邻学习图像集合作为输入，采用已构建的深度学习网络模型，获取所述集合中每个图像分别属于预先设定的各类目的置信度分布；
阈值确定子单元，用于针对每个类目，根据每个输入图像对应的置信度以及输入图像的标记类目，确定用于判定图像不属于所述类目的最大置信度，并将其设定为所述类目的第二阈值；确定用于判定图像属于所述类目的最小置信度，并将其设定为所述类目的第一阈值；
重分类类目选择子单元，用于根据所述置信度分布，从所述预先设定的类目中选择满足如下条件的重分类类目：对应于该类目的置信度大于等于第二阈值、且小于等于第一阈值的输入图像，其标记类目不同；所述标记不同的类目为对应重分类类目的互关联类目；
近邻关系构建子单元，用于针对每个重分类类目，建立其互关联类目间的近邻关系；
聚类分析子单元，用于以预先选取的重分类模型训练图像集合作为输入，对每个重分类类目进行聚类，得到对应于每个重分类类目的、与其互关联类目一一对应的聚类中心；
重叠概率计算子单元，用于根据不属于任一聚类中心的输入图像的标记类目，计算发生类目重叠时输入图像归属每个互关联类目的概率值。
可选的，所述聚类分析子单元包括：
第二置信度分布获取子单元，用于以重分类模型训练图像集合作为输入，采用已构建的深度学习网络模型，获取所述集合中每个图像分别属于预先设定的各类目的置信度分布；
循环控制子单元，用于针对每个重分类类目，依次触发下述子单元工作；
样本图像选择子单元，用于从所述重分类模型训练图像集合中选择被标记为所述重分类类目的互关联类目、且对应所述重分类类目的置信度位于所述重分类类目的第二阈值和第一阈值之间的图像；
聚类子单元，用于以所选图像的置信度分布作为输入，采用聚类算法进行划分，得到与所述互关联类目数目一致的聚类中心，并确定每个聚类中心的置信区间；
图像归属判断子单元，用于针对所选每个图像，判断其置信度分布是否位于某聚类中心的置信区间内，若是，则判定该图像属于所述聚类中心；
聚类中心类目确定子单元，用于针对每个聚类中心，将属于其的图像按照标记的类目进行分类统计，取数目最多的类目作为所述聚类中心对应的类目。
可选的，所述第二置信度计算单元包括：
类目循环控制子单元，用于针对其置信度在预先设定的第二阈值和第一阈值之间的类目，依次触发下述子单元工作；
聚类中心判断子单元，用于判断所述图像的置信度分布是否位于所述类目的某个互关联类目对应的聚类中心的置信区间中；
聚类置信度设置子单元，用于当所述聚类中心判断子单元的输出为是时，根据所述图像的置信度分布与所述互关联类目对应的聚类中心之间的距离，设置所述图像属于所述互关联类目的第二置信度，并将所述互关联类目添加到候选列表中；
近邻置信度设置子单元，用于当所述聚类中心判断子单元的输出为否时，判断所述类目是否有互近邻类目，若有，将所述类目的互近邻类目添加到所述候选列表中，并将其第二置信度设置为预先设定的互近邻置信度；判断所述类目是否有左近邻类目或者右近邻类目，若有，将所述类目的左近邻或者右近邻类目添加到所述候选列表中，并将其第二置信度设置为发生类目重叠时输入图像归属相应类目的概率值。
可选的，所述聚类置信度设置子单元具体用于，采用如下公式设置所述图像属于所述互关联类目的第二置信度：第二置信度＝1-d/(kσ)；
其中，d为所述图像的置信度分布与所述聚类中心之间的距离，kσ为定义所述聚类中心的置信区间的相应参数值。
可选的，所述装置包括：
第二阈值判断单元，用于当第一置信度大于第一阈值的类目的数量小于预定数量时，判断是否所有类目对应的置信度都小于为该类目预先设定的第二阈值；若是，则判定所述待识别图像不属于任何预先设定的类目；否则触发所述第二置信度计算单元工作。
此外，本申请还提供一种图像搜索方法。请参考图7，其为本申请提供的一种图像搜索方法的实施例的流程图，本实施例与第一实施例(即：用于识别图像类目归属的方法实施例)步骤相同的部分不再赘述。本申请提供的一种图像搜索方法包括：
步骤701：获得待搜索的样本图像。
在实际应用中，经常会有根据原图像搜索相似图像的需求，例如，原图像的分辨率偏低，希望获取该图像的更为清晰的版本等。这里所说的原图像即为本实施例所述的待搜索的样本图像。所述待搜索的样本图像可以是采用带有摄像头的设备拍摄的，也可以是用户通过网络上传的。
步骤702：确定所述样本图像的类目。
在本步骤中，采用以下方法确定所述样本图像的类目：
确定待识别的样本图像分别属于预先设定的各类目的第一置信度；当第一置信度大于第一阈值的类目的数量小于预定数量时，执行下述操作：
针对第一置信度在第二阈值和第一阈值之间的类目，计算所述待识别的样本图像属于相应互关联的各类目的第二置信度；
选择第二置信度排序靠前的若干个目标类目，并将所述第一置信度大于第一阈值的类目与所述目标类目作为所述待识别的样本图像类目归属的识别结果。
上述方法的具体处理过程，请参见第一实施例中的相关描述，此处不再赘述。
步骤703：在所述类目的候选图像中，查找与所述样本图像相匹配的图像，并将找到的图像作为本次的搜索结果。
所述候选图像可以存储在图像数据库中，也可以以文件的形式组织并存储在磁盘等存储介质上，在具体应用中，为了便于查找，所述候选图像通常被划分为不同的类目。本步骤根据步骤702确定的类目，在所述类目对应的候选图像中查找与所述样本图像相匹配的图像。
在具体应用中，图像的匹配可以采用多种方法，例如，灰度匹配、或者特征匹配等。为了减少匹配过程的计算量和提高准确性，本实施例提供一种根据特征匹配进行查找的优选实施方式。
首先，提取所述样本图像的图像特征(简称样本特征)，在具体实施时，可以采用深度学习算法或者SIFT算法进行样本特征的提取。
然后，在所述类目的候选图像中，查找其图像特征与所述样本特征相匹配的候选图像。在具体实施中，可以计算所述类目中的每个候选图像的图像特征与所述样本特征之间的差异度(该差异度可以表征两个图像之间的距离，差异度越小、两个图像的相似度越高)，例如，计算Manhattan距离或者欧式距离等，当所述差异度小于预定阈值时，可以认为所述候选图像与样本图像匹配成功。
将在所述类目的候选图像中进行查找得到的图像汇总起来，即为本次的搜索结果，在具体实施时，还可以按照相似度对搜索结果中的图像进行排序，使得相似度比较高的图像处于比较高的序位，并可以根据需要将排序后的结果返回给搜索请求的发起方。
本实施例提供的图像搜索方法，先采用第一实施例提供的用于识别图像类目归属的方法(简称类目识别方法)确定所述样本图像所属类目，然后在该类目的候选图像中搜索与其相匹配的图像。由于所述类目识别方法有效地提高了类目识别的准确率，因此本实施例提供的图像搜索方法，不仅可以通过缩小搜索范围、提高搜索效率；而且由于将不相关类目排除在外，从而可以提高图像搜索的准确度。
上述的实施例中，提供了一种图像搜索方法，与之相对应的，本申请还提供一种图像搜索装置。请参看图8，其为本申请的一种图像搜索装置的实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本实施例的一种图像搜索装置，包括：样本图像获得单元801，用于获得待搜索的样本图像；图像类目确定单元802，用于确定所述样本图像的类目；匹配图像查找单元803，用于在所述类目的候选图像中，查找与所述样本图像相匹配的图像，并将找到的图像作为本次的搜索结果；
其中，所述图像类目确定单元包括：
第一置信度确定子单元，用于确定待识别的样本图像分别属于预先设定的各类目的第一置信度；
类目数量判断子单元，用于判断第一置信度大于第一阈值的类目的数量是否小于预定数量；
第二置信度计算子单元，用于当第一置信度大于第一阈值的类目的数量小于预定数量时，针对第一置信度在第二阈值和第一阈值之间的类目，计算所述待识别的样本图像属于相应互关联的各类目的第二置信度；
识别结果生成子单元，用于选择第二置信度排序靠前的若干个目标类目，并将所述第一置信度大于第一阈值的类目与所述目标类目作为所述待识别的样本图像类目归属的识别结果。
可选的，所述匹配图像查找单元包括：
特征提取子单元，用于提取所述样本图像的图像特征，作为样本特征；
查找执行子单元，用于在所述类目的候选图像中，查找其图像特征与所述样本特征相匹配的候选图像。
可选的，所述特征提取子单元具体用于采用深度学习算法或者SIFT特征提取算法，提取所述样本图像的图像特征。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
Claims (30)
1.一种用于识别图像类目归属的方法，其特征在于，包括：
获得待识别图像；
确定待识别图像分别属于预先设定的各类目的第一置信度；
当第一置信度大于第一阈值的类目的数量小于预定数量时，执行下述操作：
针对第一置信度在第二阈值和第一阈值之间的类目，计算所述待识别图像属于相应互关联的各类目的第二置信度，包括：判断所述待识别图像的置信度分布是否位于所述类目的某个互关联类目对应的聚类中心的置信区间中；若是，根据所述待识别图像的置信度分布与所述聚类中心的距离，设置所述待识别图像属于所述互关联类目的第二置信度；根据所述类目的近邻关系，设置所述待识别图像属于相应互关联类目的第二置信度；所述互关联的各类目指的是第一置信度处于第二阈值和第一阈值之间的各类目；
选择第二置信度排序靠前的若干个目标类目，并将所述第一置信度大于第一阈值的类目与所述目标类目作为所述待识别图像类目归属的识别结果。
2.根据权利要求1所述的用于识别图像类目归属的方法，其特征在于，当第一置信度大于第一阈值的类目的数量不小于预定数量时，执行下述操作：
选择第一置信度排序靠前的预定数量的类目作为所述待识别图像类目归属的识别结果。
3.根据权利要求1所述的用于识别图像类目归属的方法，其特征在于，根据预先构建的深度学习网络模型，确定所述待识别图像分别属于预先设定的各类目的第一置信度。
4.根据权利要求3所述的用于识别图像类目归属的方法，其特征在于，所述预先构建的深度学习网络模型，采用如下方法构建：
以深度学习图像集合作为输入，通过迭代的方法构建深度学习网络模型，所述模型包括第一预定数量的卷积层和第二预定数量的全连接层，所述模型用于针对每个输入图像，输出所述图像属于所述预先设定的各类目的置信度。
5.根据权利要求4所述的用于识别图像类目归属的方法，其特征在于，在以深度学习图像集合作为输入，通过迭代的方法构建深度学习网络模型之前，执行下述操作：
将所述深度学习图像集合中的图像大小调整到预先设定的尺寸。
6.根据权利要求4所述的用于识别图像类目归属的方法，其特征在于，采用预先构建的互关联重分类模型，计算所述待识别图像属于相应互关联的各类目的第二置信度。
7.根据权利要求6所述的用于识别图像类目归属的方法，其特征在于，所述预先构建的互关联重分类模型，采用如下方法构建：
以互关联近邻学习图像集合作为输入，采用已构建的深度学习网络模型，获取所述集合中每个图像分别属于预先设定的各类目的置信度分布；
针对每个类目，根据每个输入图像对应的置信度以及输入图像的标记类目，确定用于判定图像不属于所述类目的最大置信度，并将其设定为所述类目的第二阈值；确定用于判定图像属于所述类目的最小置信度，并将其设定为所述类目的第一阈值；
根据所述置信度分布，从所述预先设定的类目中选择满足如下条件的重分类类目：对应于该类目的置信度大于等于该类目的第二阈值、且小于等于该类目的第一阈值的输入图像，其标记类目不同；所述标记不同的类目为对应重分类类目的互关联类目；
针对每个重分类类目，建立其互关联类目间的近邻关系；
以重分类模型训练图像集合作为输入，对每个重分类类目进行聚类，得到对应于每个重分类类目的、与其互关联类目一一对应的聚类中心；
根据不属于任一聚类中心的输入图像的标记类目，根据人工标记类目计算概率值的方式计算发生类目重叠时输入图像归属每个互关联类目的概率值；所述类目发生重叠通过以下方式判断：若所述置信度分布没有落在任意一个聚类中心的置信区间中，则发生类目重叠。
8.根据权利要求7所述的用于识别图像类目归属的方法，其特征在于，所述互关联类目间的近邻关系，采用如下方式建立：如果标记为A类目的图像，其对应B类目的置信度落在B类目的第二阈值和第一阈值之间，则设置B类目为A类目的左近邻，A类目为B类目的右近邻；如果B类目是A类目的左近邻，且B类目是A类目的右近邻，则设置B类目与A类目为互近邻。
9.根据权利要求8所述的用于识别图像类目归属的方法，其特征在于，所述以重分类模型训练图像集合作为输入，对每个重分类类目进行聚类，得到对应于所述重分类类目的、与其互关联类目一一对应的聚类中心，包括：
以重分类模型训练图像集合作为输入，采用已构建的深度学习网络模型，获取所述集合中每个图像分别属于预先设定的各类目的置信度分布；
针对每个重分类类目，执行下述操作：
从所述重分类模型训练图像集合中选择被标记为所述重分类类目的互关联类目、且对应所述重分类类目的置信度位于所述重分类类目的第二阈值和第一阈值之间的图像；
以所选图像的置信度分布作为输入，采用聚类算法进行划分，得到与所述互关联类目数目一致的聚类中心，并确定每个聚类中心的置信区间；
针对所选每个图像，如果其置信度分布位于某聚类中心的置信区间内，则判定该图像属于所述聚类中心；
针对每个聚类中心，将属于其的图像按照标记的类目进行分类统计，取数目最多的类目作为所述聚类中心对应的类目。
10.根据权利要求9所述的用于识别图像类目归属的方法，其特征在于，所述聚类中心u的置信区间为：以u为中心、到u的距离小于等于kσ的区间范围；其中，σ为标准差，k为预先设定的参数，取值范围为：大于等于0.5、且小于等于1.5。
11.根据权利要求10所述的用于识别图像类目归属的方法，其特征在于，所述针对第一置信度在第二阈值和第一阈值之间的类目，计算所述待识别图像属于相应互关联的各类目的第二置信度，包括：
判断所述图像的置信度分布是否位于所述类目的某个互关联类目对应的聚类中心的置信区间中；
若是，则根据所述图像的置信度分布与所述互关联类目对应的聚类中心之间的距离，设置所述图像属于所述互关联类目的第二置信度，并将所述互关联类目添加到候选列表中；
若否，执行下述操作：
判断所述类目是否有互近邻类目，若有，将所述类目的互近邻类目添加到所述候选列表中，并将其第二置信度设置为预先设定的互近邻置信度；
判断所述类目是否有左近邻类目或者右近邻类目，若有，将所述类目的左近邻或者右近邻类目添加到所述候选列表中，并将其第二置信度设置为发生类目重叠时输入图像归属相应类目的概率值。
12.根据权利要求11所述的用于识别图像类目归属的方法，其特征在于，根据所述图像的置信度分布与所述互关联类目对应的聚类中心之间的距离，采用如下公式设置所述图像属于所述互关联类目的第二置信度：第二置信度＝1-d/(kσ)；
其中，d为所述图像的置信度分布与所述聚类中心之间的距离，kσ为定义所述聚类中心的置信区间的相应参数值。
13.根据权利要求7-12任一所述的用于识别图像类目归属的方法，其特征在于，当第一置信度大于第一阈值的类目的数量小于预定数量时，首先执行下述操作：
判断是否所有类目对应的置信度都小于该类目的第二阈值；
若是，则判定所述待识别图像不属于任何预先设定的类目；
若否，执行所述针对第一置信度在第二阈值和第一阈值之间的类目，计算所述待识别图像属于相应互关联的各类目的第二置信度的步骤。
14.一种用于识别图像类目归属的装置，其特征在于，包括：
待识别图像获得单元，用于获得待识别图像；
第一置信度确定单元，用于确定待识别图像分别属于预先设定的各类目的第一置信度；
类目数量判断单元，用于判断第一置信度大于第一阈值的类目的数量是否小于预定数量；
第二置信度计算单元，用于当第一置信度大于第一阈值的类目的数量小于预定数量时，针对第一置信度在第二阈值和第一阈值之间的类目，计算所述待识别图像属于相应互关联的各类目的第二置信度，包括：判断所述待识别图像的置信度分布是否位于所述类目的某个互关联类目对应的聚类中心的置信区间中；若是，根据所述待识别图像的置信度分布与所述聚类中心的距离，设置所述待识别图像属于所述互关联类目的第二置信度；根据所述类目的近邻关系，设置所述待识别图像属于相应互关联类目的第二置信度；所述互关联的各类目指的是第一置信度处于第二阈值和第一阈值之间的各类目；
识别结果生成单元，用于选择第二置信度排序靠前的若干个目标类目，并将所述第一置信度大于第一阈值的类目与所述目标类目作为所述待识别图像类目归属的识别结果。
15.根据权利要求14所述的用于识别图像类目归属的装置，其特征在于，包括：
直接归属类目选择单元，用于当第一置信度大于第一阈值的类目的数量不小于预定数量时，选择第一置信度排序靠前的预定数量的类目作为所述待识别图像类目归属的识别结果。
16.根据权利要求14所述的用于识别图像类目归属的装置，其特征在于，所述第一置信度确定单元具体用于，根据预先构建的深度学习网络模型，确定所述待识别图像分别属于预先设定的各类目的第一置信度。
17.根据权利要求16所述的用于识别图像类目归属的装置，其特征在于，包括：
深度学习网络模型构建单元，用于以深度学习图像集合作为输入，通过迭代的方法构建深度学习网络模型，所述模型包括第一预定数量的卷积层和第二预定数量的全连接层，所述模型用于针对每个输入图像，输出所述图像属于所述预先设定的各类目的置信度。
18.根据权利要求17所述的用于识别图像类目归属的装置，其特征在于，所述深度学习网络模型构建单元除了包括实现其功能的本体子单元外，还包括图像尺寸调整子单元，用于在构建深度学习网络模型之前，将所述深度学习图像集合中的图像大小调整到预先设定的尺寸。
19.根据权利要求17所述的用于识别图像类目归属的装置，其特征在于，所述第二置信度计算单元具体用于，采用预先构建的互关联重分类模型，计算所述待识别图像属于相应互关联的各类目的第二置信度。
20.根据权利要求19所述的用于识别图像类目归属的装置，其特征在于，包括：
互关联重分类模型构建单元，用于预先构建互关联重分类模型；所述单元包括：
第一置信度分布获取子单元，用于以互关联近邻学习图像集合作为输入，采用已构建的深度学习网络模型，获取所述集合中每个图像分别属于预先设定的各类目的置信度分布；
阈值确定子单元，用于针对每个类目，根据每个输入图像对应的置信度以及输入图像的标记类目，确定用于判定图像不属于所述类目的最大置信度，并将其设定为所述类目的第二阈值；确定用于判定图像属于所述类目的最小置信度，并将其设定为所述类目的第一阈值；
重分类类目选择子单元，用于根据所述置信度分布，从所述预先设定的类目中选择满足如下条件的重分类类目：对应于该类目的置信度大于等于该类目的第二阈值、且小于等于该类目的第一阈值的输入图像，其标记类目不同；所述标记不同的类目为对应重分类类目的互关联类目；
近邻关系构建子单元，用于针对每个重分类类目，建立其互关联类目间的近邻关系；
聚类分析子单元，用于以预先选取的重分类模型训练图像集合作为输入，对每个重分类类目进行聚类，得到对应于每个重分类类目的、与其互关联类目一一对应的聚类中心；
重叠概率计算子单元，用于根据不属于任一聚类中心的输入图像的标记类目，根据人工标记类目计算概率值的方式计算发生类目重叠时输入图像归属每个互关联类目的概率值；所述类目发生重叠通过以下方式判断：若所述置信度分布没有落在任意一个聚类中心的置信区间中，则发生类目重叠。
21.根据权利要求20所述的用于识别图像类目归属的装置，其特征在于，所述聚类分析子单元包括：
第二置信度分布获取子单元，用于以重分类模型训练图像集合作为输入，采用已构建的深度学习网络模型，获取所述集合中每个图像分别属于预先设定的各类目的置信度分布；
循环控制子单元，用于针对每个重分类类目，依次触发下述子单元工作；
样本图像选择子单元，用于从所述重分类模型训练图像集合中选择被标记为所述重分类类目的互关联类目、且对应所述重分类类目的置信度位于所述重分类类目的第二阈值和第一阈值之间的图像；
聚类子单元，用于以所选图像的置信度分布作为输入，采用聚类算法进行划分，得到与所述互关联类目数目一致的聚类中心，并确定每个聚类中心的置信区间；
图像归属判断子单元，用于针对所选每个图像，判断其置信度分布是否位于某聚类中心的置信区间内，若是，则判定该图像属于所述聚类中心；
聚类中心类目确定子单元，用于针对每个聚类中心，将属于其的图像按照标记的类目进行分类统计，取数目最多的类目作为所述聚类中心对应的类目。
22.根据权利要求21所述的用于识别图像类目归属的装置，其特征在于，所述第二置信度计算单元包括：
类目循环控制子单元，用于针对其置信度在预先设定的第二阈值和第一阈值之间的类目，依次触发下述子单元工作；
聚类中心判断子单元，用于判断所述图像的置信度分布是否位于所述类目的某个互关联类目对应的聚类中心的置信区间中；
聚类置信度设置子单元，用于当所述聚类中心判断子单元的输出为是时，根据所述图像的置信度分布与所述互关联类目对应的聚类中心之间的距离，设置所述图像属于所述互关联类目的第二置信度，并将所述互关联类目添加到候选列表中；
近邻置信度设置子单元，用于当所述聚类中心判断子单元的输出为否时，判断所述类目是否有互近邻类目，若有，将所述类目的互近邻类目添加到所述候选列表中，并将其第二置信度设置为预先设定的互近邻置信度；判断所述类目是否有左近邻类目或者右近邻类目，若有，将所述类目的左近邻或者右近邻类目添加到所述候选列表中，并将其第二置信度设置为发生类目重叠时输入图像归属相应类目的概率值。
23.根据权利要求22所述的用于识别图像类目归属的装置，其特征在于，所述聚类置信度设置子单元具体用于，采用如下公式设置所述图像属于所述互关联类目的第二置信度：第二置信度＝1-d/(kσ)；
其中，d为所述图像的置信度分布与所述聚类中心之间的距离，kσ为定义所述聚类中心的置信区间的相应参数值。
24.根据权利要求20-23任一所述的用于识别图像类目归属的装置，其特征在于，包括：
第二阈值判断单元，用于当第一置信度大于第一阈值的类目的数量小于预定数量时，判断是否所有类目对应的置信度都小于为该类目预先设定的第二阈值；若是，则判定所述待识别图像不属于任何预先设定的类目；否则触发所述第二置信度计算单元工作。
25.一种图像搜索方法，其特征在于，包括：
获得待搜索的样本图像；
确定所述样本图像的类目；
在所述类目的候选图像中，查找与所述样本图像相匹配的图像，并将找到的图像作为本次的搜索结果；
其中，所述样本图像的类目通过以下方法确定：
确定待识别的样本图像分别属于预先设定的各类目的第一置信度；
当第一置信度大于第一阈值的类目的数量小于预定数量时，执行下述操作：
针对第一置信度在第二阈值和第一阈值之间的类目，计算所述待识别的样本图像属于相应互关联的各类目的第二置信度，包括：判断所述待识别的样本图像的置信度分布是否位于所述类目的某个互关联类目对应的聚类中心的置信区间中；若是，根据所述待识别的样本图像的置信度分布与所述聚类中心的距离，设置所述待识别的样本图像属于所述互关联类目的第二置信度；根据所述类目的近邻关系，设置所述待识别的样本图像属于相应互关联类目的第二置信度；所述互关联的各类目指的是第一置信度处于第二阈值和第一阈值之间的各类目；
选择第二置信度排序靠前的若干个目标类目，并将所述第一置信度大于第一阈值的类目与所述目标类目作为所述待识别的样本图像类目归属的识别结果。
26.根据权利要求25所述的图像搜索方法，其特征在于，在所述类目的候选图像中，查找与所述样本图像相匹配的图像，包括：
提取所述样本图像的图像特征，作为样本特征；
在所述类目的候选图像中，查找其图像特征与所述样本特征相匹配的候选图像。
27.根据权利要求26所述的图像搜索方法，其特征在于，采用深度学习算法或者SIFT特征提取算法，提取所述样本图像的图像特征。
28.一种图像搜索装置，其特征在于，包括：
样本图像获得单元，用于获得待搜索的样本图像；
图像类目确定单元，用于确定所述样本图像的类目；
匹配图像查找单元，用于在所述类目的候选图像中，查找与所述样本图像相匹配的图像，并将找到的图像作为本次的搜索结果；
其中，所述图像类目确定单元包括：
第一置信度确定子单元，用于确定待识别的样本图像分别属于预先设定的各类目的第一置信度；
类目数量判断子单元，用于判断第一置信度大于第一阈值的类目的数量是否小于预定数量；
第二置信度计算子单元，用于当第一置信度大于第一阈值的类目的数量小于预定数量时，针对第一置信度在第二阈值和第一阈值之间的类目，计算所述待识别的样本图像属于相应互关联的各类目的第二置信度，包括：判断所述待识别的样本图像的置信度分布是否位于所述类目的某个互关联类目对应的聚类中心的置信区间中；若是，根据所述待识别的样本图像的置信度分布与所述聚类中心的距离，设置所述待识别的样本图像属于所述互关联类目的第二置信度；根据所述类目的近邻关系，设置所述待识别的样本图像属于相应互关联类目的第二置信度；所述互关联的各类目指的是第一置信度处于第二阈值和第一阈值之间的各类目；
识别结果生成子单元，用于选择第二置信度排序靠前的若干个目标类目，并将所述第一置信度大于第一阈值的类目与所述目标类目作为所述待识别的样本图像类目归属的识别结果。
29.根据权利要求28所述的图像搜索装置，其特征在于，所述匹配图像查找单元包括：
特征提取子单元，用于提取所述样本图像的图像特征，作为样本特征；
查找执行子单元，用于在所述类目的候选图像中，查找其图像特征与所述样本特征相匹配的候选图像。
30.根据权利要求29所述的图像搜索装置，其特征在于，所述特征提取子单元具体用于采用深度学习算法或者SIFT特征提取算法，提取所述样本图像的图像特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510023173.XA CN105844283B (zh) | 2015-01-16 | 2015-01-16 | 用于识别图像类目归属的方法、图像搜索方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510023173.XA CN105844283B (zh) | 2015-01-16 | 2015-01-16 | 用于识别图像类目归属的方法、图像搜索方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105844283A CN105844283A (zh) | 2016-08-10 |
| CN105844283B true CN105844283B (zh) | 2019-06-07 |
Family
ID=56580182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510023173.XA Active CN105844283B (zh) | 2015-01-16 | 2015-01-16 | 用于识别图像类目归属的方法、图像搜索方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105844283B (zh) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106326852A (zh) * | 2016-08-18 | 2017-01-11 | 无锡天脉聚源传媒科技有限公司 | 一种基于深度学习的商品识别方法及装置 |
| CN106339917A (zh) * | 2016-08-18 | 2017-01-18 | 无锡天脉聚源传媒科技有限公司 | 一种商品模型训练方法及装置 |
| CN107766373B (zh) * | 2016-08-19 | 2021-07-20 | 阿里巴巴集团控股有限公司 | 图片所属类目的确定方法及其系统 |
| CN107103218B (zh) * | 2016-10-24 | 2020-12-22 | 创新先进技术有限公司 | 一种业务实现方法和装置 |
| CN107066507B (zh) * | 2017-01-10 | 2019-09-17 | 中国人民解放军国防科学技术大学 | 一种基于云机器人混合云架构的语义地图构建方法 |
| CN107330750B (zh) * | 2017-05-26 | 2019-03-08 | 北京三快在线科技有限公司 | 一种推荐产品配图方法及装置，电子设备 |
| CN107423757B (zh) * | 2017-07-14 | 2020-10-09 | 北京小米移动软件有限公司 | 聚类处理方法及装置 |
| CN107679460B (zh) * | 2017-09-11 | 2020-08-11 | Oppo广东移动通信有限公司 | 人脸的自学习方法及智能终端和存储介质 |
| CN107995982B (zh) * | 2017-09-15 | 2019-03-22 | 达闼科技（北京）有限公司 | 一种目标识别方法、装置和智能终端 |
| JP7104779B2 (ja) | 2017-09-15 | 2022-07-21 | 達闥科技（北京）有限公司 | 対象認識方法、装置及びインテリジェント端末 |
| CN107909088B (zh) * | 2017-09-27 | 2022-06-28 | 百度在线网络技术（北京）有限公司 | 获取训练样本的方法、装置、设备和计算机存储介质 |
| CN107832662B (zh) * | 2017-09-27 | 2022-05-27 | 百度在线网络技术（北京）有限公司 | 一种获取图片标注数据的方法和系统 |
| CN107729944B (zh) * | 2017-10-23 | 2021-05-07 | 百度在线网络技术（北京）有限公司 | 一种低俗图片的识别方法、装置、服务器及存储介质 |
| CN110349156B (zh) * | 2017-11-30 | 2023-05-30 | 腾讯科技（深圳）有限公司 | 眼底图片中病变特征的识别方法和装置、存储介质 |
| CN110032916A (zh) * | 2018-01-12 | 2019-07-19 | 北京京东尚科信息技术有限公司 | 一种检测目标物体的方法和装置 |
| CN108491794B (zh) * | 2018-03-22 | 2023-04-07 | 腾讯科技（深圳）有限公司 | 面部识别的方法和装置 |
| CN109034188B (zh) * | 2018-06-15 | 2021-11-05 | 北京金山云网络技术有限公司 | 机器学习模型的获取方法、获取装置、设备及存储介质 |
| CN108647671B (zh) * | 2018-06-28 | 2023-12-22 | 武汉市哈哈便利科技有限公司 | 一种光学标识视觉识别方法及基于该方法的无人售货柜 |
| CN109558779A (zh) * | 2018-07-06 | 2019-04-02 | 北京字节跳动网络技术有限公司 | 图像检测方法和装置 |
| CN108985208A (zh) * | 2018-07-06 | 2018-12-11 | 北京字节跳动网络技术有限公司 | 生成图像检测模型的方法和装置 |
| CN110826572B (zh) * | 2018-08-09 | 2023-04-21 | 京东方科技集团股份有限公司 | 多目标检测的非极大值抑制方法、装置及设备 |
| CN109389169A (zh) * | 2018-10-08 | 2019-02-26 | 百度在线网络技术（北京）有限公司 | 用于处理图像的方法和装置 |
| CN109740621B (zh) * | 2018-11-20 | 2021-02-05 | 北京奇艺世纪科技有限公司 | 一种视频分类方法、装置及设备 |
| CN109740671B (zh) * | 2019-01-03 | 2021-02-23 | 北京妙医佳信息技术有限公司 | 一种图像识别方法及装置 |
| CN111476253B (zh) * | 2019-01-23 | 2024-04-02 | 阿里巴巴集团控股有限公司 | 服装图像分类、图像分类方法、装置及设备 |
| CN111860062B (zh) * | 2019-04-29 | 2023-11-24 | 中国移动通信集团河北有限公司 | 人脸识别样本处理方法及装置 |
| CN110796034B (zh) * | 2019-10-12 | 2022-04-22 | 北京达佳互联信息技术有限公司 | 一种目标对象识别方法、装置、设备及介质 |
| CN111368926B (zh) * | 2020-03-06 | 2021-07-06 | 腾讯科技（深圳）有限公司 | 图像筛选方法、装置和计算机可读存储介质 |
| CN111738245B (zh) * | 2020-08-27 | 2020-11-20 | 创新奇智(北京)科技有限公司 | 商品识别管理方法、装置、服务器及可读存储介质 |
| CN112330658A (zh) * | 2020-11-23 | 2021-02-05 | 丰图科技(深圳)有限公司 | 抛洒物检测方法、装置、电子设备及存储介质 |
| CN113392903A (zh) * | 2021-06-15 | 2021-09-14 | 上海华兴数字科技有限公司 | 一种工地区域的识别方法、系统及装置 |
| CN114419636A (zh) * | 2022-01-10 | 2022-04-29 | 北京百度网讯科技有限公司 | 文本识别方法、装置、设备以及存储介质 |
| CN116662588B (zh) * | 2023-08-01 | 2023-10-10 | 山东省大数据中心 | 一种海量数据智能搜索方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101814147A (zh) * | 2010-04-12 | 2010-08-25 | 中国科学院自动化研究所 | 一种实现场景图像的分类方法 |
| CN102402621A (zh) * | 2011-12-27 | 2012-04-04 | 浙江大学 | 一种基于图像分类的图像检索方法 |
| CN104268552A (zh) * | 2014-09-04 | 2015-01-07 | 电子科技大学 | 一种基于部件多边形的精细类别分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9639780B2 (en) * | 2008-12-22 | 2017-05-02 | Excalibur Ip, Llc | System and method for improved classification |
-
2015
- 2015-01-16 CN CN201510023173.XA patent/CN105844283B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101814147A (zh) * | 2010-04-12 | 2010-08-25 | 中国科学院自动化研究所 | 一种实现场景图像的分类方法 |
| CN102402621A (zh) * | 2011-12-27 | 2012-04-04 | 浙江大学 | 一种基于图像分类的图像检索方法 |
| CN104268552A (zh) * | 2014-09-04 | 2015-01-07 | 电子科技大学 | 一种基于部件多边形的精细类别分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105844283A (zh) | 2016-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105844283B (zh) | 用于识别图像类目归属的方法、图像搜索方法及装置 | |
| CN111523621B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN109670528B (zh) | 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法 | |
| Jiang et al. | Saliency detection via absorbing markov chain | |
| Kao et al. | Visual aesthetic quality assessment with a regression model | |
| WO2019100724A1 (zh) | 训练多标签分类模型的方法和装置 | |
| CN107506793B (zh) | 基于弱标注图像的服装识别方法及系统 | |
| WO2019100723A1 (zh) | 训练多标签分类模型的方法和装置 | |
| Soomro et al. | Action localization in videos through context walk | |
| CN111161311A (zh) | 一种基于深度学习的视觉多目标跟踪方法及装置 | |
| CA3066029A1 (en) | Image feature acquisition | |
| KR20170091716A (ko) | 샘플링 및 특징 선택 없는 자동 결함 분류 | |
| CN108549870A (zh) | 一种对物品陈列进行鉴别的方法及装置 | |
| Zhang et al. | Semantic classification of heterogeneous urban scenes using intrascene feature similarity and interscene semantic dependency | |
| CN104281572B (zh) | 一种基于互信息的目标匹配方法及其系统 | |
| CN106557728B (zh) | 查询图像处理和图像检索方法和装置以及监视系统 | |
| CN109829065B (zh) | 图像检索方法、装置、设备及计算机可读存储介质 | |
| CN109753884A (zh) | 一种基于关键帧提取的视频行为识别方法 | |
| CN107067037B (zh) | 一种使用llc准则定位图像前景的方法 | |
| CN109509228A (zh) | 用于定位一个或多个候选数字图像的方法 | |
| Shimoda et al. | Learning food image similarity for food image retrieval | |
| CN107977948A (zh) | 一种面向社群图像的显著图融合方法 | |
| Huo et al. | Semisupervised learning based on a novel iterative optimization model for saliency detection | |
| CN106407281B (zh) | 图像检索方法及装置 | |
| CN105404682B (zh) | 一种基于数字图像内容的图书检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |