CN115620052B - 细粒度商品检测方法、系统、终端设备及存储介质 - Google Patents

细粒度商品检测方法、系统、终端设备及存储介质 Download PDF

Info

Publication number
CN115620052B
CN115620052B CN202211220807.7A CN202211220807A CN115620052B CN 115620052 B CN115620052 B CN 115620052B CN 202211220807 A CN202211220807 A CN 202211220807A CN 115620052 B CN115620052 B CN 115620052B
Authority
CN
China
Prior art keywords
sku
sample data
detector
commodity
fine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211220807.7A
Other languages
English (en)
Other versions
CN115620052A (zh
Inventor
陈昊烊
李德圆
丁明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xuanwu Wireless Technology Co Ltd
Original Assignee
Guangzhou Xuanwu Wireless Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xuanwu Wireless Technology Co Ltd filed Critical Guangzhou Xuanwu Wireless Technology Co Ltd
Priority to CN202211220807.7A priority Critical patent/CN115620052B/zh
Publication of CN115620052A publication Critical patent/CN115620052A/zh
Application granted granted Critical
Publication of CN115620052B publication Critical patent/CN115620052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种细粒度商品检测方法、系统、终端设备及存储介质，该方法包括：根据第一样本数据训练得到SKU检测器，所述SKU检测器用于检测忽略细粒度问题的SKU数据；对所述第一样本数据执行负样本生成策略，确定对应的负样本数据；根据所述第一样本数据和所述负样本数据训练得到SKU分类器；利用所述SKU检测器对待识别商品进行检测，并利用所述SKU分类器对当前检测结果进行修正，生成细粒度商品检测结果。本申请先利用忽略细粒度问题的数据训练检测器，以更准确的检出所有目标SKU；然后对于有细粒度问题的SKU数据进行分类器的识别细分，最后合并检测器和分类器的结果，通过针对性识别提高对细粒度商品的识别精度。

Description

细粒度商品检测方法、系统、终端设备及存储介质
技术领域
本申请涉及计算机软件及快销技术领域，尤其涉及一种细粒度商品检测方法、系统、终端设备及存储介质。
背景技术
随着人工智能在快销领域中的不断扩展，AI的普及将人们从大量重复劳力的工作中解放出来，帮助企业快速了解终端门店的铺货销售详情。但AI落地需要解决很多实际问题，如基本的商品检测模型，就面临着输入图像密集商品陈列、高相似商品、数据不均衡等问题。因为高相似商品的检测识别率较低，相互间容易误识别，导致在实际应用中巡店员不得不花费人力去核对模型检测结果。目前，也有部分方法，监督引导模型聚焦于SKU图像的局部信息，以此提升细粒度商品的识别率，但输入图片一般是包含有众多商品密集陈列的货架等图片，每个SKU只占了整张图片非常小的区域，导致局部信息十分细微，模型难以聚焦，识别效果并不理想；如果加大输入图像尺寸，则增加了数据传输和模型计算成本，且无针对性。
发明内容
本申请的目的在于提供一种细粒度商品检测方法、系统、终端设备及存储介质，以解决现有的针对细粒度商品识别方法中存在的无针对性、识别效果差且成本高的问题。
为实现上述目的，本申请提供一种细粒度商品检测方法，包括：
根据第一样本数据训练得到SKU检测器，所述SKU检测器用于检测忽略细粒度问题的SKU数据；
对所述第一样本数据执行负样本生成策略，确定对应的负样本数据；
根据所述第一样本数据和所述负样本数据训练得到SKU分类器；
利用所述SKU检测器对待识别商品进行检测，并利用所述SKU分类器对当前检测结果进行修正，生成细粒度商品检测结果。
进一步地，所述利用第一样本数据训练得到SKU检测器，包括：
利用第一样本数据对预设神经网络模型进行训练和测试，得到SKU粗分类器和混淆矩阵；所述第一样本数据为已标注的细粒度商品图片；
根据混淆矩阵，确定判定两两商品具有相似SKU的规则，利用所述规则对第一样本数据进行处理，生成第二样本数据，根据第二样本数据训练得到SKU检测器。
进一步地，所述预设神经网络模型包括resnet18网络模型。
进一步地，所述根据第二样本数据训练得到SKU检测器，包括：
利用第二样本数据对cascade-rcnn模型进行训练，直至模型收敛得到SKU检测器。
进一步地，判定商品SKU是否具有细粒度问题，包括：
若两件商品的差异特征区域占整个商品图像区域的比例小于第一预设值，则商品具有细粒度问题；
若两件商品的差异特征区域占整个商品图像区域的比例大于或等于第一预设值，则商品无细粒度问题。
进一步地，所述对所述第一样本数据执行负样本生成策略，确定对应的负样本数据，包括：
将第一样本数据随机分为两个数据集，取其中任意一个数据集训练得到第一检测器；
利用第一检测器对另一数据集进行检测，生成第一检测结果；
计算第一检测结果与所述另一数据集中人工标注结果的交并比，保留交并比小于第二预设值的部分，作为第二检测结果；
利用SKU检测器对所述另一数据集进行检测，生成第三检测结果；
计算第二检测结果与第三检测结果的交并比，保留交并比大于第三预设值且置信度小于第四预设值的部分，作为对应的负样本；当计算两个数据集的所有负样本后，生成对应的负样本数据。
本申请还提供一种细粒度商品检测系统，包括：
SKU检测器获取模块，用于根据第一样本数据训练得到SKU检测器，所述SKU检测器用于检测忽略细粒度问题的SKU数据；
负样本数据获取模块，用于对所述第一样本数据执行负样本生成策略，确定对应的负样本数据；
SKU分类器获取模块，用于根据所述第一样本数据和所述负样本数据训练得到SKU分类器；
细粒度商品检测模块，用于利用所述SKU检测器对待识别商品进行检测，并利用所述SKU分类器对当前检测结果进行修正，生成细粒度商品检测结果。
进一步地，所述SKU检测器获取模块，包括：
混淆矩阵获取单元，用于利用第一样本数据对预设神经网络模型进行训练和测试，得到SKU粗分类器和混淆矩阵；所述第一样本数据为已标注的细粒度商品图片；
相似SKU规则确定单元，用于根据混淆矩阵，确定判定两两商品具有相似SKU的规则，利用所述规则对第一样本数据进行处理，生成第二样本数据，根据第二样本数据训练得到SKU检测器。
本申请还提供一种终端设备，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上任一项所述的细粒度商品检测方法。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的细粒度商品检测方法。
相对于现有技术，本申请的有益效果在于：
本申请公开了一种细粒度商品检测方法、系统、终端设备及存储介质，该方法包括：根据第一样本数据训练得到SKU检测器，所述SKU检测器用于检测忽略细粒度问题的SKU数据；对所述第一样本数据执行负样本生成策略，确定对应的负样本数据；根据所述第一样本数据和所述负样本数据训练得到SKU分类器；利用所述SKU检测器对待识别商品进行检测，并利用所述SKU分类器对当前检测结果进行修正，生成细粒度商品检测结果。
本申请先利用忽略细粒度问题的数据训练检测器，以更准确的检出所有目标SKU；然后对于有细粒度问题的SKU数据进行分类器的识别细分，最后合并检测器和分类器的结果，通过针对性识别提高对细粒度商品的识别精度。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请某一实施例提供的细粒度商品检测方法的流程示意图；
图2是本申请某一实施例提供的具有细粒度问题的商品示意图；
图3是本申请某一实施例提供的负样本自动采集策略的原理示意图；
图4是本申请某一实施例提供的细粒度商品高精度检测系统构建流程图；
图5是本申请某一实施例提供的细粒度商品识别模型的推理流程；
图6是本申请某一实施例提供的细粒度商品检测系统的结构示意图；
图7是图6中SKU检测器获取模块01的子单元的结构示意图；
图8是本申请某一实施例提供的终端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
应当理解，在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，本申请某一实施例提供一种细粒度商品检测方法。如图1所示，该细粒度商品检测方法包括步骤S10至步骤S40。各步骤具体如下：
S10、根据第一样本数据训练得到SKU检测器，所述SKU检测器用于检测忽略细粒度问题的SKU数据。
S20、对所述第一样本数据执行负样本生成策略，确定对应的负样本数据。
S30、根据所述第一样本数据和所述负样本数据训练得到SKU分类器。
S40、利用所述SKU检测器对待识别商品进行检测，并利用所述SKU分类器对当前检测结果进行修正，生成细粒度商品检测结果。
需要说明的是，细粒度商品通常是指外观相似的商品，一般是同一系列的不同商品，人眼看上去十分相像，不能轻易区分，例如图2所示的牙膏用品，由图2可知，这三款牙膏的区别仅在于味道不同，三种味道分别是清莲薄荷、冰沁桃花和栀子留兰。因此现有的模型针对这类商品进行识别时，往往会存在误识别问题，而为了解决这类问题，一方面，现有技术会通过模型聚焦只关注商品局部SKU来区分商品。但由于输入的商品图片一般是包含有众多商品密集陈列的货架等图片，每个SKU只占了整张图片非常小的区域，导致局部信息太细微，此时模型难以聚焦，并不能确保识别结果的准确率；另一方面，如果加大输入图像尺寸，无疑会增加数据传输和模型计算成本，且这种方式并无针对性，在提高细粒度商品识别精度问题上并无实际意义，为此本申请提供一种细粒度商品检测方法，其主要的原理是，先基于忽略细粒度问题的数据，即合并过的数据训练检测器，以能够更准确的检出所有目标SKU；然后对于有细粒度问题的SKU进行分类器的识别细分，最后通过合并检测器和分类器的结果实现提高对细粒度商品识别的准确率。
在一个具体地实施例中，步骤S10中利用第一样本数据训练得到SKU检测器，具体包括以下内容：
1.1)利用第一样本数据对预设神经网络模型进行训练和测试，得到SKU粗分类器和混淆矩阵；所述第一样本数据为已标注的细粒度商品图片。
1.2)根据混淆矩阵，确定判定两两商品具有相似SKU的规则，利用所述规则对第一样本数据进行处理，生成第二样本数据，根据第二样本数据训练得到SKU检测器。
为了帮助理解，下面将举例说明该实施例的实现过程：
首先在步骤1.1)中，获取第一样本数据，记作原始数据D，即已标注的细粒度商品图片，然后将这些图片按照标注框抠出小图，并对每款SKU随机选取少量的小图作为训练集，剩余作为测试集，训练得到一个SKU粗分类器，记作C1。
需要说明的是，判定商品SKU是否具有细粒度问题，包括：
若两件商品的差异特征区域占整个商品图像区域的比例小于第一预设值，则商品具有细粒度问题；
若两件商品的差异特征区域占整个商品图像区域的比例大于或等于第一预设值，则商品无细粒度问题。
本实施例中，为了更清楚的区分商品是否存在细粒度问题，对其进行量化。例如第一预设值可以取10％～30％，比方30％。那么此时，当两件商品的差异特征区域占整个商品图像区域的比例小于30％时，就证明这两件商品存在细粒度问题，即模型不能轻易区分，容易产生误判。而大于或等于30％时，则不存在细粒度问题。
在一个优选地实施方式中，由于第一样本数据的数据量较少，为了防止过拟合，步骤1.1)中的预设神经网络模型可采用低深度模型resnet18，训练到分类器的损失收敛为止，得到SKU粗分类器C1。
进一步地，在得到SKU粗分类器C1后，用分类器C1对测试集进行测试，得到混淆矩阵T1。其中，混淆矩阵是指：将分类器的预测类别数量和真实类别数量反应到矩阵的列和行，能直观的观察到分类器对每个类别的预测效果，例如图3所提供的一种二分类情况的混淆矩阵，由图3可知，该混淆矩阵中，预测结果和真实结果有偏差，即误判的情况共有15种，包括：真实为NO预测为YES的情况有10种，真实为YES预测为NO的情况有5种。
当执行完步骤1.1)得到SKU粗分类器C1和混淆矩阵T1后，接下来执行步骤1.2)，即首先根据混淆矩阵确定判定两两商品具有相似SKU的规则。
在一个具体地实施方式中，判定两两商品具有相似SKU的规则的过程如下：
A)在混淆矩阵T1中，对每一款SKU，记作Fx，按照预测次数从大到小进行排序并取前5个组成预选序列：
[{Fx1,Fx2,Fx3,Fx4,Fx5},{fx1,fx2,fx3,fx4,fx5}]；
其中，{Fx1,Fx2,Fx3,Fx4,Fx5}表示Fx被预测为其他SKU的名称(可包含自身)，{fx1,fx2,fx3,fx4,fx5}分别表示Fx被预测为{Fx1,Fx2,Fx3,Fx4,Fx5}的次数。
记Fx的真实标签数为Mx，对于标签的合并，制定以下规则：
设定阈值序列{tx1,tx2,tx3,tx4,tx5}(tx1<tx2<tx3<tx4<tx5)，记
Figure BDA0003877996170000081
取满足条件：Txn>txn的最小n定义当前SKU的相似类别集合{Fx1···Fxn}，若无满足条件的最小n，则定义Fx的相似类别集合为空集。
B)对上述步骤中A)中Fx的相似类别集合{Fx1···Fxn}，依次遍历Fx1···Fxn的相似类别集合，若Fxi(1≤i≤n)的相似类别集合中包含Fx，则确定{Fxi,Fx}为相似SKU集合。若再有Fxj(1≤j≤n)的相似类别集合中也包含Fx，则确定{Fxi,Fxj,Fx}为相似SKU集合。依次类推，得到一个相似SKU集合SFx，并将集合SFx中的所有元素的候选集置空。
C)重复步骤B)，找到所有的相似SKU集合{SFx...}，并对各个集合进行命名，命令方式以“class”为后缀。
综上，通过步骤A)至C)，即可确定出对应的规则以自动找到商品数据中相似的SKU。
进一步地，确定好相应的规则之后，利用该规则对第一样本数据进行处理，生成第二样本数据，根据第二样本数据训练得到SKU检测器。
具体地，本步骤中根据上述规则修改原始数据D的标注文件。若标注文件中的标签名属于某一相似SKU集合，则将该标签名修改为其集合名；否则，保持标签名不变，按照此操作即可生成第二样本数据，也即一份新的标注数据，记作D1。最后，利用标注数据D1训练得到一个SKU检测器，记作DModel。
在一个具体地实施例中，主要利用第二样本数据对cascade-rcnn模型进行训练，直至模型收敛得到SKU检测器。
需要说明的是，本实施例中基于数据D1，用cascade-rcnn模型训练得到一个检测器，用来检测新的数据里面的SKU。这样做的目的是：把具有细粒度问题的SKU合并了再来检测，使得模型不关注细粒度问题，因此检测器对相似SKU的检测精度就更高。而模型的训练过程就是常规的模型训练过程，根据实际需求设置网络参数和损失函数，通过不断地迭代训练，直至模型收敛即可得到目标的模型。
综上，通过上述步骤可以得到一个SKU检测器，该SKU检测器用于检测忽略细粒度问题的SKU数据，能够更准确的检出所有的目标SKU。
在一个具体地实施例中，在得到SKU检测器后，接下来则要训练SKU分类器。具体地，需要先执行步骤S20，对第一样本数据执行负样本生成策略，确定对应的负样本数据，然后将第一样本数据和负样本数据混合，一起来训练得到SKU分类器。
示例性的，对所述第一样本数据执行负样本生成策略，确定对应的负样本数据，包括：
2.1)将第一样本数据随机分为两个数据集，取其中任意一个数据集训练得到第一检测器；
2.2)利用第一检测器对另一数据集进行检测，生成第一检测结果；
2.3)计算第一检测结果与所述另一数据集中人工标注结果的交并比，保留交并比小于第二预设值的部分，作为第二检测结果；
2.4)利用SKU检测器对所述另一数据集进行检测，生成第三检测结果；
2.5)计算第二检测结果与第三检测结果的交并比，保留交并比大于第三预设值且置信度小于第四预设值的部分，作为对应的负样本；当计算两个数据集的所有负样本后，生成对应的负样本数据。
下面将举例说明该负样本生成策略的执行过程：
1)将第一样本数据D随机等分为数据集1和数据集2；可以理解的的是，等分为两个数据集只是一种优选方式，在实际应用中还可能分为多个数据集，每个数据集的数据量也可以不相同，此处不作任何限定。
2)利用数据集1训练一个物体检测模型，直到模型收敛，得到模型model。优选地，此处仍然使用cascade-rcnn模型，训练得到对应的检测器。
3)利用model对数据集2进行检测识别。
4)将检测结果与人工标注结果进行对比，保留检测结果与标注结果IOU小于0.3的检测结果；
5)为减少人工漏标的不利影响，利用DModel对数据集2进行预测，保留与4)中检测结果的IOU>0.5，且置信度低于0.5的结果。
可以理解的是，IOU选0.3和0.5、置信度选0.5同样是第二预设值、第三预设值、第四预设值的优选方式，在此不作为实施过程中的限定数值。其中，第二预设值的目的是找出模型多识别出来的检测框，设置第三预设值的目的则是在多识别的框中过滤掉人工漏标的框，以提高负样本的可靠性。
6)依据5)的结果，从原图中将检测区域扣出来，加入到others集合中。
7)将数据集1和数据集2调换，再重复执行一遍上述2)到6)的步骤，最后将两次执行得到的负样本合并，即可得到最终的负样本集合。其中，负样本自动采集的流程图如图3所示。
在一个具体实施方式中，当得到负样本数据后，将第一样本数据和负样本数据混合，一起来训练得到SKU分类器。请参阅图4，图4提供了细粒度商品高精度检测系统构建流程。如图4所所示，训练SKU分类器，即细粒度分类器C2，包括以下步骤：
3.1)将D中标签名属于某个相似SKU集合的对应标注区域抠图出来，并根据标签名保存。
3.2)用3.1)中抠出的数据与7)中得到的负样本集合，形成分类器C2的训练数据。
3.3)用3.2)中的训练数据训练得到分类器C2。
进一步地，在得到SKU检测器和SKU分类器之后，先利用SKU检测器，即DModel对待识别商品进行检测，将识别标签后缀为“class”的检测区域抠图，得到相似SKU类的子图，然后送到SKU分类器C2中修正检测器的检测结果，最后将SKU分类器C2的识别标签和置信度替换检测器DModel的对应区域检测结果，生成最终的细粒度商品检测结果。其中，该推理过程的流程如图5所示。
综上所述，本申请实施例提供的细粒度商品检测方法，先利用忽略细粒度问题的数据训练检测器，以更准确的检出所有目标SKU；然后对于有细粒度问题的SKU数据进行分类器的识别细分，最后合并检测器和分类器的结果，通过针对性识别提高对细粒度商品的识别精度。同时，该方法无需大量真实场景数据的采集和标注，可极大降低了数据采集的要求，降低了模型优化成本。
请参阅图6，本申请某一实施例还提供了一种细粒度商品检测系统，包括：
SKU检测器获取模块01，用于根据第一样本数据训练得到SKU检测器，所述SKU检测器用于检测忽略细粒度问题的SKU数据；
负样本数据获取模块02，用于对所述第一样本数据执行负样本生成策略，确定对应的负样本数据；
SKU分类器获取模块03，用于根据所述第一样本数据和所述负样本数据训练得到SKU分类器；
细粒度商品检测模块04，用于利用所述SKU检测器对待识别商品进行检测，并利用所述SKU分类器对当前检测结果进行修正，生成细粒度商品检测结果。
在一个实施例中，SKU检测器获取模块01还包括子单元混淆矩阵获取单元011和相似SKU规则确定单元012，如图7所示。具体地，各个子单元的功能如下：
混淆矩阵获取单元011，用于利用第一样本数据对预设神经网络模型进行训练和测试，得到SKU粗分类器和混淆矩阵；所述第一样本数据为已标注的细粒度商品图片；
相似SKU规则确定单元012，用于根据混淆矩阵，确定判定两两商品具有相似SKU的规则，利用所述规则对第一样本数据进行处理，生成第二样本数据，根据第二样本数据训练得到SKU检测器。
可以理解的是，本实施例提供的细粒度商品检测系统用于执行如上述任意一项实施例所述的细粒度商品检测方法，并实现与其相同的效果，此处不再进一步赘述。
请参阅图8，本申请某一实施例提供一种终端设备，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的细粒度商品检测方法。
处理器用于控制该终端设备的整体操作，以完成上述的细粒度商品检测方法的全部或部分步骤。存储器用于存储各种类型的数据以支持在该终端设备的操作，这些数据例如可以包括用于在该终端设备上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
在一示例性实施例中，终端设备可以被一个或多个应用专用集成电路(Application Specific 1ntegrated Circuit，简称AS1C)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行如上述任一项实施例所述的细粒度商品检测方法，并达到如上述方法一致的技术效果。
在另一示例性实施例中，还提供一种包括计算机程序的计算机可读存储介质，该计算机程序被处理器执行时实现如上述任一项实施例所述的细粒度商品检测方法的步骤。例如，该计算机可读存储介质可以为上述包括计算机程序的存储器，上述计算机程序可由终端设备的处理器执行以完成如上述任一项实施例所述的细粒度商品检测方法，并达到如上述方法一致的技术效果。
以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。

Claims (9)

1.一种细粒度商品检测方法，其特征在于，包括：
根据第一样本数据训练得到SKU检测器，所述SKU检测器用于检测忽略细粒度问题的SKU数据；
对所述第一样本数据执行负样本生成策略，确定对应的负样本数据；其中，所述对所述第一样本数据执行负样本生成策略，确定对应的负样本数据，包括：
将第一样本数据随机分为两个数据集，取其中任意一个数据集训练得到第一检测器；
利用第一检测器对另一数据集进行检测，生成第一检测结果；
计算第一检测结果与所述另一数据集中人工标注结果的交并比，保留交并比小于第二预设值的部分，作为第二检测结果；
利用SKU检测器对所述另一数据集进行检测，生成第三检测结果；
计算第二检测结果与第三检测结果的交并比，保留交并比大于第三预设值且置信度小于第四预设值的部分，作为对应的负样本；当计算两个数据集的所有负样本后，生成对应的负样本数据；
根据所述第一样本数据和所述负样本数据训练得到SKU分类器；
利用所述SKU检测器对待识别商品进行检测，并利用所述SKU分类器对当前检测结果进行修正，生成细粒度商品检测结果。
2.根据权利要求1所述的细粒度商品检测方法，其特征在于，所述根据第一样本数据训练得到SKU检测器，包括：
利用第一样本数据对预设神经网络模型进行训练和测试，得到SKU粗分类器和混淆矩阵；所述第一样本数据为已标注的细粒度商品图片；
根据混淆矩阵，确定判定两两商品具有相似SKU的规则，利用所述规则对第一样本数据进行处理，生成第二样本数据，根据第二样本数据训练得到SKU检测器。
3.根据权利要求2所述的细粒度商品检测方法，其特征在于，所述预设神经网络模型包括resnet18网络模型。
4.根据权利要求2所述的细粒度商品检测方法，其特征在于，所述根据第二样本数据训练得到SKU检测器，包括：
利用第二样本数据对cascade-rcnn模型进行训练，直至模型收敛得到SKU检测器。
5.根据权利要求1所述的细粒度商品检测方法，其特征在于，判定商品SKU是否具有细粒度问题，包括：
若两件商品的差异特征区域占整个商品图像区域的比例小于第一预设值，则商品具有细粒度问题；
若两件商品的差异特征区域占整个商品图像区域的比例大于或等于第一预设值，则商品无细粒度问题。
6.一种细粒度商品检测系统，其特征在于，包括：
SKU检测器获取模块，用于根据第一样本数据训练得到SKU检测器，所述SKU检测器用于检测忽略细粒度问题的SKU数据；
负样本数据获取模块，用于对所述第一样本数据执行负样本生成策略，确定对应的负样本数据；其中，所述对所述第一样本数据执行负样本生成策略，确定对应的负样本数据，包括：
将第一样本数据随机分为两个数据集，取其中任意一个数据集训练得到第一检测器；
利用第一检测器对另一数据集进行检测，生成第一检测结果；
计算第一检测结果与所述另一数据集中人工标注结果的交并比，保留交并比小于第二预设值的部分，作为第二检测结果；
利用SKU检测器对所述另一数据集进行检测，生成第三检测结果；
计算第二检测结果与第三检测结果的交并比，保留交并比大于第三预设值且置信度小于第四预设值的部分，作为对应的负样本；当计算两个数据集的所有负样本后，生成对应的负样本数据；
SKU分类器获取模块，用于根据所述第一样本数据和所述负样本数据训练得到SKU分类器；
细粒度商品检测模块，用于利用所述SKU检测器对待识别商品进行检测，并利用所述SKU分类器对当前检测结果进行修正，生成细粒度商品检测结果。
7.根据权利要求6所述的细粒度商品检测系统，其特征在于，所述SKU检测器获取模块，包括：
混淆矩阵获取单元，用于利用第一样本数据对预设神经网络模型进行训练和测试，得到SKU粗分类器和混淆矩阵；所述第一样本数据为已标注的细粒度商品图片；
相似SKU规则确定单元，用于根据混淆矩阵，确定判定两两商品具有相似SKU的规则，利用所述规则对第一样本数据进行处理，生成第二样本数据，根据第二样本数据训练得到SKU检测器。
8.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5任一项所述的细粒度商品检测方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的细粒度商品检测方法。
CN202211220807.7A 2022-10-08 2022-10-08 细粒度商品检测方法、系统、终端设备及存储介质 Active CN115620052B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211220807.7A CN115620052B (zh) 2022-10-08 2022-10-08 细粒度商品检测方法、系统、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211220807.7A CN115620052B (zh) 2022-10-08 2022-10-08 细粒度商品检测方法、系统、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN115620052A CN115620052A (zh) 2023-01-17
CN115620052B true CN115620052B (zh) 2023-07-04

Family

ID=84861356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211220807.7A Active CN115620052B (zh) 2022-10-08 2022-10-08 细粒度商品检测方法、系统、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN115620052B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097091A (zh) * 2019-04-10 2019-08-06 东南大学 训练与推理数据分布不一致条件下的图像细粒度识别方法
CN111222530A (zh) * 2019-10-14 2020-06-02 广州极汇信息科技有限公司 一种细粒度图像分类方法、系统、装置和存储介质
CN113762175A (zh) * 2021-09-10 2021-12-07 复旦大学 一种基于图卷积网络的两阶段行为识别细分类方法
WO2022032471A1 (zh) * 2020-08-11 2022-02-17 香港中文大学（深圳） 一种神经网络模型的训练方法、装置、存储介质及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3349152A1 (en) * 2017-01-17 2018-07-18 Catchoom Technologies S.L. Classifying data
CN112508132B (zh) * 2021-01-29 2021-08-03 广州市玄武无线科技股份有限公司 一种识别sku的训练方法及装置
CN113918554A (zh) * 2021-10-29 2022-01-11 广州华多网络科技有限公司 商品数据清洗方法及其装置、设备、介质、产品

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097091A (zh) * 2019-04-10 2019-08-06 东南大学 训练与推理数据分布不一致条件下的图像细粒度识别方法
CN111222530A (zh) * 2019-10-14 2020-06-02 广州极汇信息科技有限公司 一种细粒度图像分类方法、系统、装置和存储介质
WO2022032471A1 (zh) * 2020-08-11 2022-02-17 香港中文大学（深圳） 一种神经网络模型的训练方法、装置、存储介质及设备
CN113762175A (zh) * 2021-09-10 2021-12-07 复旦大学 一种基于图卷积网络的两阶段行为识别细分类方法

Also Published As

Publication number Publication date
CN115620052A (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
Hendricks et al. Women also snowboard: Overcoming bias in captioning models
CN106951925B (zh) 数据处理方法、装置、服务器及系统
WO2022151649A1 (zh) 基于深度兴趣网络的专题推荐方法及装置
Yao et al. Interactive object detection
CN110472082B (zh) 数据处理方法、装置、存储介质及电子设备
CN110175590A (zh) 一种商品识别方法及装置
CN109739904B (zh) 一种时间序列的标记方法、装置、设备和存储介质
CN109858476B (zh) 标签的扩充方法和电子设备
CN110889463A (zh) 一种样本标注方法、装置、服务器及机器可读存储介质
CN110490237B (zh) 数据处理方法、装置、存储介质及电子设备
CN109857878B (zh) 物品标注方法及装置、电子设备及存储介质
CN111523421A (zh) 基于深度学习融合各种交互信息的多人行为检测方法及系统
CN115457395A (zh) 基于通道注意力与多尺度特征融合的轻量级遥感目标检测方法
EP3929800A1 (en) Skill word evaluation method and device, electronic device, and computer readable medium
CN111859909B (zh) 一种语义场景一致性识别阅读机器人
CN113554129A (zh) 场景图的生成方法和生成装置
CN114463603B (zh) 图像检测模型的训练方法、装置、电子设备及存储介质
CN106023159A (zh) 设施蔬菜叶部病斑图像分割方法及系统
CN115115825B (zh) 图像中的对象检测方法、装置、计算机设备和存储介质
Lee et al. Fair selective classification via sufficiency
CN114880041A (zh) 树形结构数据的处理方法、电子设备及存储介质
CN115620052B (zh) 细粒度商品检测方法、系统、终端设备及存储介质
CN111414930B (zh) 深度学习模型训练方法及装置、电子设备及存储介质
JP5640796B2 (ja) 名寄せ支援処理装置、方法及びプログラム
CN112699908A (zh) 标注图片的方法、电子终端、计算机可读存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant