CN113705735A

CN113705735A - 一种基于海量信息的标签分类方法及系统

Info

Publication number: CN113705735A
Application number: CN202111252119.4A
Authority: CN
Inventors: 刘超; 李功文; 孙勇; 隋国栋; 刘峰
Original assignee: Beijing Zhidemai Technology Co ltd
Current assignee: Beijing Zhidemai Technology Co ltd
Priority date: 2021-10-27
Filing date: 2021-10-27
Publication date: 2021-11-26

Abstract

本发明公开了一种基于海量信息的标签分类方法及系统，包括：将训练图片通过分类模型进行分类预估，识别出训练图片的至少一组第一标签及对应的第一置信度；分别将第一置信度与预设阈值进行比较，若第一置信度大于预设阈值，则保存对应的第一标签；将测试图片通过分类模型进行分类预估，识别出测试图片的至少一组第二标签及对应的第二置信度；若至少一个第二标签与已保存的第一标签相同，则判断测试图片为分类模型支持分类的图片。本发明能够提供一种更精准、更细颗粒度的匹配，将商品图片经过分类模型抽取图片标签与置信度，根据图片标签和置信度判断当前图片是否是支持的分类图片，即使模型未支持的分类，也可以根据同类标签判断是否为支持分类。

Description

一种基于海量信息的标签分类方法及系统

技术领域

本发明涉及数据处理、图片相似度计算计算机网络技术，具体属于自然语言与机器视觉技术领域。

背景技术

在数据自动入库流程中，同一个分类可能会进入很多不同类别的图片，比如球类当数据进入时可能很多圆形图都会识别为球类进入数据库，因此需要一种模型可以自动过滤掉不符合的图片。

现有实现计算图片分类的方法是直接通过数据模型算出图片分类,上述方式中，模型支持的分类往往远远少于商品库中商品分类，模型未学习到的分类识别的标签往往不准确。

发明内容

为克服相关技术中存在的问题，本发明提供一种基于海量信息的标签分类方法及系统，能够提供一种更精准、更细颗粒度的匹配，将商品图片经过分类模型抽取图片标签与置信度，根据图片标签和置信度判断当前图片是否是支持的分类图片，即使模型未支持的分类，也可以根据同类标签判断是否为支持分类。

根据本发明实施例的第一方面，提供一种基于海量信息的标签分类方法，包括：

将训练图片通过分类模型进行分类预估，识别出所述训练图片的至少一组第一标签及对应的第一置信度；

分别将所述第一置信度与预设阈值进行比较，若所述第一置信度大于所述预设阈值，则保存对应的所述第一标签；

将测试图片通过分类模型进行分类预估，识别出所述测试图片的至少一组第二标签及对应的第二置信度；

若至少一个所述第二标签与已保存的所述第一标签相同，则判断所述测试图片为所述分类模型支持分类的图片。

进一步，所述分类模型采用resnet分类模型。

进一步，该方法还包括：

若所述至少一组第二标签均与已保存的所述第一标签不同，则判断所述测试图片为所述分类模型不支持分类的图片。

进一步，该方法还包括：

若至少一个所述第二标签与已保存的所述第一标签相同，则将所述测试图片标记为与已保存的所述第一标签相同的所述至少一个所述第二标签，或者，将所述测试图片标记为与已保存的所述第一标签相同的所述至少一个所述第二标签中对应的第二置信度最大的第二标签。

进一步，该方法还包括：

若所述至少一组第二标签均与已保存的所述第一标签不同，则不标记所述测试图片。

根据本发明实施例的第二方面，提供一种基于海量信息的标签分类系统，包括：

训练图片分类模块，用于将训练图片通过分类模型进行分类预估，识别出所述训练图片的至少一组第一标签及对应的第一置信度；

标签保存模块，用于分别将所述第一置信度与预设阈值进行比较，若所述第一置信度大于所述预设阈值，则保存对应的所述第一标签；

测试图片分类模块，用于将测试图片通过分类模型进行分类预估，识别出所述测试图片的至少一组第二标签及对应的第二置信度；

第一分类判断模块，用于若至少一个所述第二标签与已保存的所述第一标签相同，则判断所述测试图片为所述分类模型支持分类的图片。

进一步，所述分类模型采用resnet分类模型。

进一步，该系统还包括：

第二分类判断模块，用于若所述至少一组第二标签均与已保存的所述第一标签不同，则判断所述测试图片为所述分类模型不支持分类的图片。

进一步，该系统还包括：

测试图片标记模块，用于若至少一个所述第二标签与已保存的所述第一标签相同，则将所述测试图片标记为与已保存的所述第一标签相同的所述至少一个所述第二标签，或者，将所述测试图片标记为与已保存的所述第一标签相同的所述至少一个所述第二标签中对应的第二置信度最大的第二标签。

进一步，所述测试图片标记模块，还用于若所述至少一组第二标签均与已保存的所述第一标签不同，则不标记所述测试图片。

本发明的实施例提供的技术方案可以包括以下有益效果：

能够提供一种更精准、更细颗粒度的匹配，将商品图片经过分类模型抽取图片标签与置信度，根据图片标签和置信度判断当前图片是否是支持的分类图片，即使模型未支持的分类，也可以根据同类标签判断是否为支持分类。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。

图1是根据本发明一示例性实施例示出的一种基于海量信息的标签分类方法的流程示意图；

图2是训练图片1；

图3是训练图片2；

图4是测试图片1；

图5是测试图片2。

具体实施方式

下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

以下结合附图详细描述本发明实施例的技术方案。

图1是根据本发明一示例性实施例示出的一种基于海量信息的标签分类方法的流程示意图。

参见图1，该方法包括：

110、将训练图片通过分类模型进行分类预估，识别出所述训练图片的至少一组第一标签及对应的第一置信度；

具体的，该步骤中所采用的分类模型可采用resnet等现有分类算法模型实现，分类模型对输入的训练图片会根据自身支持的分类给出多组标签及对应的置信度。

120、分别将所述第一置信度与预设阈值进行比较，若所述第一置信度大于所述预设阈值，则保存对应的所述第一标签；

具体的，将步骤110给出的多个置信度分别与预设阈值比较，保存大于预设阈值的置信度对应的标签。例如，将一张“鼠标”的图片输入分类模型，若识别出该图片的标签中包含“鼠标”且对应的置信度大于阈值0.6，则标签匹配成功，此时，即可保存标签“鼠标”。

并且，如果有两个或两个以上的置信度大于预设阈值，可保存其中最大的置信度对应的标签。

另外，为了防止单个训练图片可能存在的误识别问题，可将多张标签相同的训练图片采用分类模型进行分类预估，若识别得到的最大置信度对应的标签相同的训练图片的数量大于预设阈值，则保存该标签。例如，将五张“鼠标”的图片输入分类模型，若识别结果中，有三张图片的标签中包含“鼠标”且对应的置信度均大于阈值0.6，即标签匹配成功的次数超过了设定阈值2次，此时，即可保存标签“鼠标”。

130、将测试图片通过分类模型进行分类预估，识别出所述测试图片的至少一组第二标签及对应的第二置信度；

具体的，该步骤中所采用的分类模型可采用resnet等现有分类算法模型实现，分类模型对输入的测试图片会根据自身支持的分类给出多组标签及对应的置信度。

140、若至少一个所述第二标签与已保存的所述第一标签相同，则判断所述测试图片为所述分类模型支持分类的图片。

具体的，例如，该测试图片的识别结果中包含的多个标签中包含“鼠标”，与已保存的标签“鼠标”相同，即可认为该测试图片是分类模型支持分类的图片。

本发明的实施例提供的一种基于海量信息的标签分类方法，能够提供一种更精准、更细颗粒度的匹配，将商品图片经过分类模型抽取图片标签与置信度，根据图片标签和置信度判断当前图片是否是支持的分类图片，即使模型未支持的分类，也可以根据同类标签判断是否为支持分类。

可选地，在该实施例中，若至少一个所述第二标签与已保存的所述第一标签相同，该方法还包括：

150、将所述测试图片标记为与已保存的所述第一标签相同的所述至少一个所述第二标签，或者，将所述测试图片标记为与已保存的所述第一标签相同的所述至少一个所述第二标签中对应的第二置信度最大的第二标签。

具体的，例如，训练图片的识别结果中包含两个标签均与已保存的标签相同，则可将该测试图片标记为两个标签，或者标记为两个标签中置信度最大的标签。

如一个键盘鼠标组合的测试图片，其识别结果中，标签1为鼠标，置信度为0.7，标签2为键盘，置信度为0.8，这两个标签均在已保存的标签中，那么，可以将这张测试图片标记为两个标签，或者标记为两个标签中置信度最大的标签“键盘”。

可选地，在该实施例中，该方法还包括：

160、若所述至少一组第二标签均与已保存的所述第一标签不同，则判断所述测试图片为所述分类模型不支持分类的图片，不标记所述测试图片。

具体的，一张测试图片的一组标签中均不包含已保存的标签，则说明这张测试图片不是分类模型支持分类的图片，因此不会对测试图片进行标记。

例如，当前分类模型支持的分类中有球类，按照此方案训练模型后，如果一个圆形物体的图片进入时，识别得到的标签栏中不包含球类，则该图片不会进入该分类下，从而能够过滤掉大量的错误数据。

一个具体的实例如下：

将图2的训练图片1（鼠标）通过resnet分类模型进行分类预估识别出图片的标签及置信度如下：

排序	标签名	置信度
			1	mouse	0.999996
2	joystick	0.000004
			3	remote_control	0.000000
4	desktop_computer	0.000000
			5	iron	0.000000
6	vacuum	0.000000
			7	bullet_train	0.000000
8	computer_keyboard	0.000000
			9	hook	0.000000
10	crash_helmet	0.000000

将图3的训练图片2（鼠标）通过resnet分类模型进行分类预估识别出图片的标签及置信度如下：

排序	标签名	置信度
			1	mouse	0.999994
2	remote_control	0.000002
			3	modem	0.000001
4	shovel	0.000001
			5	radio	0.000000
6	cellular_telephone	0.000000
			7	hook	0.000000
8	desktop_computer	0.000000
			9	joystick	0.000000
10	spatula	0.000000

收录分类对应的标签：将结果中置信度大于0.6的标签保存入库

分类名	标签
		鼠标	mouse

进行第二轮测试：

将图4的测试图片1（键盘和鼠标）通过resnet分类模型进行分类预估识别出图片的标签及置信度，如下：

排序	标签名	置信度
			1	computer_keyboard	0.568979
2	space_bar	0.196128
			3	typewriter_keyboard	0.160514
4	abacus	0.023198
			5	mouse	0.021727
6	joystick	0.016698
			7	desktop_computer	0.006144
8	remote_control	0.006088
			9	waffle_iron	0.000179
10	hand-held_computer	0.000092

结果中包含mouse标签，说明该图是支持分类的图片。

将图5的测试图片2（显示器）通过resnet分类模型进行分类预估识别出图片的标签及置信度如下：

排序	标签名	置信度
			1	monitor	0.368530
2	television	0.310254
			3	web_site	0.110170
4	home_theater	0.095124
			5	screen	0.034741
6	desktop_computer	0.018644
			7	entertainment_center	0.006008
8	hand-held_computer	0.002844
			9	notebook	0.002117
10	church	0.002051

结果中不包含mouse标签，说明该图是不支持分类的图片。

与上述方法实施例相对应地，本发明示例性实施例提供一种基于海量信息的标签分类系统，该系统中各个功能模块已在前述方法实施例中进行了介绍，以下不再赘述。

该系统包括：

可选地，在该实施例中，所述分类模型采用resnet分类模型。

可选地，在该实施例中，该系统还包括：

可选地，在该实施例中，所述测试图片标记模块，还用于若所述至少一组第二标签均与已保存的所述第一标签不同，则不标记所述测试图片。

根据本发明上述实施例提供的方法可以实现为一种计算设备，包括存储器和处理器。

处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM）和永久存储装置。其中，ROM可以存储处理器或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器上存储有可执行代码，当可执行代码被处理器处理时，可以使处理器执行上文述及的方法中的部分或全部。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当所述可执行代码（或计算机程序、或计算机指令代码）被电子设备（或计算设备、服务器等）的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤的部分或全部。

上文中已经参考附图详细描述了本发明的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本发明所必须的。另外，可以理解，本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本发明实施例装置中的模块可以根据实际需要进行合并、划分和删减。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims

1.一种基于海量信息的标签分类方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述分类模型采用resnet分类模型。

3.根据权利要求1或2所述的方法，其特征在于，还包括：

4.根据权利要求3所述的方法，其特征在于，还包括：

5.根据权利要求4所述的方法，其特征在于，还包括：

6.一种基于海量信息的标签分类系统，其特征在于，包括：

7.根据权利要求6所述的系统，其特征在于，所述分类模型采用resnet分类模型。

8.根据权利要求6或7所述的系统，其特征在于，还包括：

9.根据权利要求8所述的系统，其特征在于，还包括：

10.根据权利要求9所述的系统，其特征在于，所述测试图片标记模块，还用于若所述至少一组第二标签均与已保存的所述第一标签不同，则不标记所述测试图片。