CN107766373B - 图片所属类目的确定方法及其系统 - Google Patents

Abstract

本申请公开一种图片所属类目的确定方法及其系统，其中所述方法包括：接收输入的查询图片；提取所述查询图片的图片特征，根据所述图片特征确定所述查询图片对应的多个类目信息；根据所述查询图片以及确定的多个类目信息进行分类检索；根据分类检索的检索结果判定所述查询图片所属的类目信息。通过本申请可以提高类目推断的准确度。

Description

图片所属类目的确定方法及其系统

技术领域

本申请涉及计算机技术领域，尤其涉及一种图片所属类目的确定方法及其系统。

背景技术

图像检索作为一门新兴技术在电商场景中已经越来越常见。但是随着互联网的流行，商品图片库中的图片数量日益庞大，这使得图像检索变的非常的困难。值得庆幸的是，如果事先知道query图片(即图片搜索中的用户查询图片)所属的商品类目，就可以在query图片所属的商品类目中进行垂直检索，大大提高检索效率；其次，通过限定类目可以保证检索返回的结果图和query图片在类目上的一致性，提升用户体验。此外，query图片的类目信息对理解用户行为，分析用户意图非常有帮助。由此可见，query图片的类目推断对图像搜索具有重要意义。

现有技术中的类目识别方法大都是基于学习策略的，对每个类目输出一个类目置信度，通常选取置信度最高的类目作为类目识别的预测类目。但是在真实的电商场景中，类目种类很多，不同类目之间有很高的表观相似性(比如上装和裙装)，导致部分query图片的类目预测的置信度不太高，类目识别的准确度有限(如：置信度最高的类目的准确度只有80％)。也就是说，有较多的query图片会因为类目预测错误而导致最终的检索结果不准确，因此有必要提出改进的技术手段解决上述问题。

发明内容

本申请的主要目的在于提供一种图片所属类目的确定方法及其系统，以解决现有技术中存在的通过查询图片得到的检索结果不准确的问题。

为了解决上述问题，根据本申请实施例提供一种图片所属类目的确定方法，其包括：接收输入的查询图片；提取所述查询图片的图片特征，根据所述图片特征确定所述查询图片对应的多个类目信息；根据所述查询图片以及确定的多个类目信息进行分类检索；根据分类检索的检索结果判定所述查询图片所属的类目信息。

其中，所述根据所述图片特征确定所述查询图片对应的多个类目信息的步骤，包括：根据预设的分类器对所述查询图片的图片特征进行识别，计算所述查询图片对应的多个类目信息中的每个类目信息对应的归属概率。

其中，在进行分类检索的步骤之前，所述方法还包括：判断计算得到的每个类目信息对应的归属概率中最大的归属概率是否大于预设阈值，若是，则判定该归属概率对应的类目信息为所述查询图片所属的类目信息；否则执行分类检索的步骤。

其中，所述方法还包括：根据所述归属概率的大小顺序对每个类目信息进行排序；根据顺序选取所述多个类目信息中的部分类目信息进行分类检索。

其中，所述根据分类检索的检索结果判定所述查询图片所属的类目信息的步骤，包括：分别获取每个类目信息对应的预设数量的检索图片；将所述查询图片的图片特征分别与检索图片的图片特征进行比较，如果判定为相同则判定该类目信息为所述查询图片所属的类目信息。

其中，如果判定所述查询图片的图片特征与检索图片的图片特征不相同，则所述方法还包括：分别获取每个类目信息的第一数量的检索图片和第二数量的检索图片，其中第一数量大于第二数量；分别计算每个类目信息的第一数量的检索图片与所述检索图片的特征距离，确定平均距离最小的第一类目信息；分别计算每个类目信息的第二数量的检索图片与所述检索图片的特征距离，确定平均距离最小的第二类目信息；若所述第一类目信息与所述第二类目信息相同，则判定该类目信息为所述查询图片所属的类目信息。

根据本申请实施例还提供一种图片所属类目的确定系统，其包括：接收模块，用于接收输入的查询图片；类目识别模块，用于提取所述查询图片的图片特征，根据所述图片特征确定所述查询图片对应的多个类目信息；多类目检索模块，用于根据所述查询图片以及确定的多个类目信息进行分类检索；类目确定模块，用于根据分类检索的检索结果判定所述查询图片所属的类目信息。

其中，所述类目识别模块还用于，根据预设的分类器对所述查询图片的图片特征进行识别，计算所述查询图片对应的多个类目信息中的每个类目信息对应的归属概率。

其中，还包括：判断模块，用于判断计算得到的每个类目信息对应的归属概率中最大的归属概率是否大于预设阈值，若是，则判定该归属概率对应的类目信息为所述查询图片所属的类目信息；否则执行分类检索的步骤。

其中，所述多类目检索模块还用于，根据所述归属概率的大小顺序对每个类目信息进行排序；根据顺序选取所述多个类目信息中的部分类目信息进行分类检索。

其中，所述类目确定模块还用于，分别获取每个类目信息对应的预设数量的检索图片；将所述查询图片的图片特征分别与检索图片的图片特征进行比较，如果判定为相同则判定该类目信息为所述查询图片所属的类目信息。

其中，所述类目确定模块还用于，如果判定为不相同，则分别获取每个类目信息的第一数量的检索图片和第二数量的检索图片，其中第一数量大于第二数量；分别计算每个类目信息的第一数量的检索图片与所述检索图片的特征距离，确定平均距离最小的第一类目信息；分别计算每个类目信息的第二数量的检索图片与所述检索图片的特征距离，确定平均距离最小的第二类目信息；若所述第一类目信息与所述第二类目信息相同，则判定该类目信息为所述查询图片所属的类目信息。

根据本申请的上述技术方案，在基于深度学习的类目推断置信度不高时，根据所述查询图片以及确定的多个类目信息进行分类检索，从而确定查询图片所属的类目信息。通过本申请可以提高类目推断的准确度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请一个实施例的图片所属类目的确定方法的流程图；

图2是根据本申请另一实施例的图片所属类目的确定方法的流程图；

图3是根据本申请一个实施例的图片所属类目的确定系统的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1是根据本申请实施例的图片所属类目的确定方法的流程图，如图1所示，该方法包括：

步骤S102，接收输入的查询图片(query图片)。

在用户需要进行图像搜索时，可以使用网站提供的query图片，或网站图像数据库以外的图像作为query图片，例如，用户用手机拍摄的一张图片，或者其他网站、本地文件夹中的一幅图片等等。

步骤S104，提取所述查询图片的图片特征，根据所述图片特征确定所述查询图片对应的多个类目信息。

在本申请实施例中，采用基于深度学习的分类器进行类目推断，确定所述查询图片对应的类目信息。具体而言，首先提取所述查询图片的图片特征，例如CNN特征；然后根据预先训练的CNN分类器对所述查询图片的图片特征进行分类识别，计算所述查询图片对应的多个类目信息中的每个类目信息的归属概率，即类目预测置信度。

其中，类目识别判定的类目预测置信度来自于基于深度学习的分类器。分类器是预先训练好的，训练模型基于CNN建立，训练数据来自于电子商务平台的商品图片，每个训练数据都具有一个标识信息，表示该训练数据属于哪个类目。将query图片输入分类器中，分类器就会输出query图片对应的向量，向量每个维度的数值就表示该query图片属于对应类目的置信度。一般取置信程度最高的类目为预测类目，它的置信度就是类目预测的置信度。

在本申请的一个实施例中，若最高的归属概率大于阈值，则判定该归属概率对应的类目信息为所述查询图片所属的类目信息。否则执行步骤S106，进行多类目检索分析。

步骤S106，根据所述查询图片以及确定的多个类目信息进行分类检索。

在本申请的一个实施例中，根据所述归属概率的大小顺序对每个类目信息进行排序，根据顺序选取所述多个类目信息中的部分类目信息进行分类检索。例如，根据归属概率的大小顺序选择类目预测的前3、4或5个类目中分别进行查询，并根据每个类目检索返回的前20个检索结果(top20)进行分析和类目推断。

步骤S108，根据分类检索的检索结果判定所述查询图片所属的类目信息。

在本申请的一个实施例中，分别获取每个类目信息对应的预设数量的检索图片；将所述查询图片的图片特征分别与检索图片的图片特征进行比较，如果判定为相同则判定该类目信息为所述查询图片所属的类目信息。

在本申请的另一个实施例中，如果判定为不相同，则进行量化统计分析。首先分别获取每个类目信息的第一数量的检索图片和第二数量的检索图片，其中第一数量大于第二数量；然后分别计算每个类目信息的第一数量的检索图片与所述检索图片的特征距离，确定平均距离最小的第一类目信息；接着再分别计算每个类目信息的第二数量的检索图片与所述检索图片的特征距离，确定平均距离最小的第二类目信息；若所述第一类目信息与所述第二类目信息相同，则判定该类目信息为所述查询图片所属的类目信息。

下面结合图2详细描述上述处理的细节。图2是根据本申请另一实施例的图片所属类目的确定方法的流程图，如图2所示，该方法包括：

步骤S202，接收输入的查询图片(query图片)。

步骤S204，提取所述查询图片的图片特征。其中，所述图片特征是能够表示图像本质的特征，包括但不限于：CNN特征、SIFT特征、SURF特征、颜色特征、纹理直方图特征。下面以CNN特征为例进行说明。

步骤S206，根据所述图片特征确定所述查询图片对应的多个类目信息。

在本申请实施例中，采用基于深度学习的CNN(Convolutional Neural Network，卷积神经网络)分类器进行类目推断，确定所述查询图片对应的类目信息。具体而言，首先提取所述查询图片的CNN特征；然后根据预先训练的CNN分类器对所述查询图片的图片特征进行分类识别，计算所述查询图片对应的多个类目信息中的每个类目信息的归属概率，即类目预测置信度。

例如，对于query0，输出向量为[0.3 0.6 0.1]。也就是说，有三个类目，按照对应关系依次是：服装、鞋子、家具，则该query图片属于服装的置信度是0.3，鞋子是0.6，家具是0.1。其中鞋子的置信度最高，通常会认为query0属于鞋子，类目置信度是0.6。

步骤S208，判断每个类目信息对应的归属概率中最大的归属概率是否大于预设阈值，若是则执行步骤S218，否则执行步骤S210。

步骤S210，根据所述查询图片以及确定的多个类目信息进行多类目分类检索。例如，根据归属概率的大小顺序选择类目预测的前3、4或5个类目中分别进行查询。

步骤S212，分别获取每个类目信息对应的预设数量的检索图片。

例如，获取每个类目检索返回的前20个检索结果(top20)进行分析和类目推断。

步骤S214，判断查询图片的图片特征分别与检索图片的图片特征是否相同，若是则执行步骤S218，否则执行步骤S216。

例如，在每个类目的返回前20个检索结果(top20)中，分别与query图片识别是否为同图或同类，如果判定是同图或者同类，则认为该类目就是所述查询图片所属的类目信息。

步骤S216，对每个类目的检索结果进行量化统计分析。

例如，分别计算每个类目的前20个检索结果与query图片的特征距离，并找到平均距离最小的那个类目，记为C20；并且，计算每个类目的前3个检索结果与query图片的特征距离，并找到平均距离最小的那个类目，记为C3；如果C20和C3相一致，则认为该类目就是所述查询图片所属的类目信息。

步骤S218，判定将该类目信息作为所述查询图片所属的类目信息。

图3是根据本申请实施例的图片所属类目的确定系统的结构框图，如图3所示，该系统包括：

接收模块310，用于接收输入的查询图片。

类目识别模块320，用于提取所述查询图片的图片特征，根据所述图片特征确定所述查询图片对应的多个类目信息。具体地，所述类目识别模块320根据预设的分类器对所述查询图片的图片特征进行识别，计算所述查询图片对应的多个类目信息中的每个类目信息对应的归属概率。

多类目检索模块330，用于根据所述查询图片以及确定的多个类目信息进行分类检索。具体地，所述多类目检索模块330还用于，根据所述归属概率的大小顺序对每个类目信息进行排序；根据顺序选取所述多个类目信息中的部分类目信息进行分类检索。

类目确定模块340，用于根据分类检索的检索结果判定所述查询图片所属的类目信息。

所述系统还包括：判断模块(未示出)，用于判断计算得到的每个类目信息对应的归属概率中最大的归属概率是否大于预设阈值，若是，则判定该归属概率对应的类目信息为所述查询图片所属的类目信息；否则执行分类检索的步骤。

在本申请的一个实施例中，所述类目确定模块340还用于，分别获取每个类目信息对应的预设数量的检索图片；将所述查询图片的图片特征分别与检索图片的图片特征进行比较，如果判定为相同则判定该类目信息为所述查询图片所属的类目信息；如果判定为不相同，则分别获取每个类目信息的第一数量的检索图片和第二数量的检索图片，其中第一数量大于第二数量；分别计算每个类目信息的第一数量的检索图片与所述检索图片的特征距离，确定平均距离最小的第一类目信息；分别计算每个类目信息的第二数量的检索图片与所述检索图片的特征距离，确定平均距离最小的第二类目信息；若所述第一类目信息与所述第二类目信息相同，则判定该类目信息为所述查询图片所属的类目信息。

本申请的方法的操作步骤与系统的结构特征对应，可以相互参照，不再一一赘述。

综上所示，根据本申请的上述实施例能够实现以下效果：

(1)缩小搜索范围，大大提高检索效率；

(2)通过限定类目可以保证检索返回的结果图和query图片在类目上的一致性，有效提升用户体验；

(3)query图片的类目信息有利于理解用户行为并有利于分析用户意图。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种图片所属类目的确定方法，其特征在于，包括：

接收输入的查询图片；

提取所述查询图片的图片特征，根据所述图片特征确定所述查询图片对应的多个类目信息；

根据所述查询图片以及确定的多个类目信息进行分类检索；

根据分类检索的检索结果判定所述查询图片所属的类目信息；

如果判定所述查询图片的图片特征与检索图片的图片特征不相同，则根据所述查询图片、所述多个类目信息中的类目信息的第一数量的检索图片以及第二数量的检索图片，确定所述查询图片所属的类目信息，其中，所述第一数量大于所述第二数量。

2.根据权利要求1所述的方法，其特征在于，所述根据所述图片特征确定所述查询图片对应的多个类目信息的步骤，包括：

根据预设的分类器对所述查询图片的图片特征进行识别，计算所述查询图片对应的多个类目信息中的每个类目信息对应的归属概率。

3.根据权利要求2所述的方法，其特征在于，在进行分类检索的步骤之前，所述方法还包括：

判断计算得到的每个类目信息对应的归属概率中最大的归属概率是否大于预设阈值，若是，则判定该归属概率对应的类目信息为所述查询图片所属的类目信息；否则执行分类检索的步骤。

4.根据权利要求2所述的方法，其特征在于，还包括：

根据所述归属概率的大小顺序对每个类目信息进行排序；

根据顺序选取所述多个类目信息中的部分类目信息进行分类检索。

5.根据权利要求1所述的方法，其特征在于，所述根据分类检索的检索结果判定所述查询图片所属的类目信息的步骤，包括：

分别获取每个类目信息对应的预设数量的检索图片；

将所述查询图片的图片特征分别与检索图片的图片特征进行比较，如果判定所述查询图片与任一个所述检索图片的图片特征为相同则判定该类目信息为所述查询图片所属的类目信息。

6.根据权利要求5所述的方法，其特征在于，所述如果判定所述查询图片的图片特征与检索图片的图片特征不相同，则根据所述查询图片、所述多个类目信息中的类目信息的第一数量的检索图片以及第二数量的检索图片，确定所述查询图片所属的类目信息，包括：

分别获取每个类目信息的第一数量的检索图片和第二数量的检索图片；

分别计算每个类目信息的第一数量的检索图片与所述查询图片的特征距离，确定平均距离最小的第一类目信息；

分别计算每个类目信息的第二数量的检索图片与所述查询图片的特征距离，确定平均距离最小的第二类目信息；

若所述第一类目信息与所述第二类目信息相同，则判定该类目信息为所述查询图片所属的类目信息。

7.一种图片所属类目的确定系统，其特征在于，包括：

接收模块，用于接收输入的查询图片；

类目识别模块，用于提取所述查询图片的图片特征，根据所述图片特征确定所述查询图片对应的多个类目信息；

多类目检索模块，用于根据所述查询图片以及确定的多个类目信息进行分类检索；

类目确定模块，用于根据分类检索的检索结果判定所述查询图片所属的类目信息；

确定模块，用于如果判定所述查询图片的图片特征与检索图片的图片特征不相同，则根据所述查询图片、所述多个类目信息中的类目信息的第一数量的检索图片以及第二数量的检索图片，确定所述查询图片所属的类目信息，其中，所述第一数量大于所述第二数量。

8.根据权利要求7所述的系统，其特征在于，所述类目识别模块还用于，根据预设的分类器对所述查询图片的图片特征进行识别，计算所述查询图片对应的多个类目信息中的每个类目信息对应的归属概率。

9.根据权利要求8所述的系统，其特征在于，还包括：

判断模块，用于判断计算得到的每个类目信息对应的归属概率中最大的归属概率是否大于预设阈值，若是，则判定该归属概率对应的类目信息为所述查询图片所属的类目信息；否则执行分类检索的步骤。

10.根据权利要求8所述的系统，其特征在于，

所述多类目检索模块还用于，根据所述归属概率的大小顺序对每个类目信息进行排序；根据顺序选取所述多个类目信息中的部分类目信息进行分类检索。

11.根据权利要求7所述的系统，其特征在于，所述类目确定模块还用于，

分别获取每个类目信息对应的预设数量的检索图片；

将所述查询图片的图片特征分别与检索图片的图片特征进行比较，如果判定所述查询图片与任一个所述检索图片的图片特征为相同则判定该类目信息为所述查询图片所属的类目信息。

12.根据权利要求11所述的系统，其特征在于，所述确定模块还用于，

分别获取每个类目信息的第一数量的检索图片和第二数量的检索图片；

分别计算每个类目信息的第一数量的检索图片与所述查询图片的特征距离，确定平均距离最小的第一类目信息；

分别计算每个类目信息的第二数量的检索图片与所述查询图片的特征距离，确定平均距离最小的第二类目信息；

若所述第一类目信息与所述第二类目信息相同，则判定该类目信息为所述查询图片所属的类目信息。

Images