CN111061890B - 一种标注信息验证的方法、类别确定的方法及装置 - Google Patents

一种标注信息验证的方法、类别确定的方法及装置 Download PDF

Info

Publication number
CN111061890B
CN111061890B CN201911256582.9A CN201911256582A CN111061890B CN 111061890 B CN111061890 B CN 111061890B CN 201911256582 A CN201911256582 A CN 201911256582A CN 111061890 B CN111061890 B CN 111061890B
Authority
CN
China
Prior art keywords
image
target
similarity
trained
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911256582.9A
Other languages
English (en)
Other versions
CN111061890A (zh
Inventor
卓炜
刘强
沈小勇
刘文龙
戴宇荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Cloud Computing Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Cloud Computing Beijing Co Ltd filed Critical Tencent Cloud Computing Beijing Co Ltd
Priority to CN201911256582.9A priority Critical patent/CN111061890B/zh
Publication of CN111061890A publication Critical patent/CN111061890A/zh
Application granted granted Critical
Publication of CN111061890B publication Critical patent/CN111061890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Abstract

本申请公开了一种标注信息验证的方法、类别确定的方法及装置，用于针对SKU检索数据库中的图像可以确定对应的类内相似度以及类间相似度，基于类内相似度与类间相似度，生成该图像所对应的标注信息的验证结果，从而可以根据验证结果对该图像进行剔除或修改等操作，由此提升SKU检索数据库内数据的准确性。本申请方法包括：获取待验证图像、第一图像集合以及第二图像集合；根据待验证图像以及第一图像集合确定目标类内相似度；根据待验证图像以及第二图像集合确定目标类间相似度；根据目标类内相似度以及目标类间相似度，确定目标标注信息的验证结果。

Description

一种标注信息验证的方法、类别确定的方法及装置
技术领域
本申请涉及人工智能领域，尤其涉及一种标注信息验证的方法、类别确定的方法及装置。
背景技术
由于无人货架的高货损率与自动售货机的高成本，智能货柜逐渐成为无人零售领域的新趋势。智能货柜一般采取无现金交易和普通货币交易。例如：自助橙子机、自助咖啡机、自助冰淇淋机以及无人自助售货机等。由于智能货柜的无人贩售的特性，需要补货人员定期查询进行补货，以使得智能货柜能够随时满足用户的购满需求。
目前，智能货柜内部会设置有拍摄装置，定期拍摄智能货柜内商品的库存量单位(Stock Keeping Unit，SKU)图片，然后上传至服务器，由后台工作人员基于SKU图片进行标注，得到商品的标注信息，再根据标注信息更新SKU检索数据库。
然而，SKU图片的数量较多，而且SKU图片的相似性较高，容易出现标注错误的情况，从而导致SKU检索数据库内存储的数据准确性较低。
发明内容
本申请实施例提供了一种标注信息验证的方法、类别确定的方法及装置，用于针对SKU检索数据库中的图像可以确定对应的类内相似度以及类间相似度，基于类内相似度与类间相似度，生成该图像所对应的标注信息的验证结果，从而可以根据验证结果对该图像进行剔除或修改等操作，由此提升SKU检索数据库内数据的准确性。
有鉴于此，本申请第一方面提供一种标注信息验证的方法，包括：
获取待验证图像、第一图像集合以及第二图像集合，其中，第一图像集合包括至少一个第一图像，第二图像集合包括至少一个第二图像；
根据待验证图像以及第一图像集合确定目标类内相似度，其中，待验证图像对应于目标标注信息，第一图像集合中的第一图像对应于第一标注信息，目标标注信息与第一标注信息属于相同类别的标注信息；
根据待验证图像以及第二图像集合确定目标类间相似度，其中，第二图像集合中的第二图像对应于第二标注信息，第二标注信息与目标标注信息属于不同类别的标注信息；
根据目标类内相似度以及目标类间相似度，确定目标标注信息的验证结果。
本申请第二方面提供一种类别确定的方法，包括：
获取待添加图像集合所对应的图像特征集合，其中，待添加图像集合包括至少一个待添加图像，图像特征集合包括至少一个图像特征，图像特征与待添加图像具有对应关系；
根据图像特征集合以生成目标聚类中心集合，其中，目标聚类中心集合包括P个目标聚类中心，P为大于或等于1的整数；
根据目标聚类中心集合以及M个聚类中心集合，确定目标聚类中心集合所对应的相似聚类中心集合，其中，M为大于或等于1的整数，相似聚类中心集合属于M个聚类中心集合中的一个集合，聚类中心集合包括至少P个聚类中心；
根据相似聚类中心集合获取聚类数值；
若聚类数值大于或等于聚类阈值，则确定待添加图像集合所对应的类别与相似聚类中心集合所对应的类别为相似类别。
本申请第三方面提供一种标注信息验证装置，包括：
获取模块，用于获取待验证图像、第一图像集合以及第二图像集合，其中，第一图像集合包括至少一个第一图像，第二图像集合包括至少一个第二图像；
确定模块，用于根据获取模块获取的待验证图像以及第一图像集合确定目标类内相似度，其中，待验证图像对应于目标标注信息，第一图像集合中的第一图像对应于第一标注信息，目标标注信息与第一标注信息属于相同类别的标注信息；
确定模块，还用于根据获取模块获取的待验证图像以及第二图像集合确定目标类间相似度，其中，第二图像集合中的第二图像对应于第二标注信息，第二标注信息与目标标注信息属于不同类别的标注信息；
确定模块，还用于根据确定模块确定的目标类内相似度以及目标类间相似度，确定目标标注信息的验证结果。
在一种可能的设计中，在本申请实施例的第三方面的第一种实现方式中，标注信息验证装置还包括去重模块，
获取模块，还用于获取待处理图像集合，其中，待处理图像集合包括X个图像，X为大于或等于2的整数；
去重模块，用于对获取模块获取的待处理图像集合进行去重处理，得到图像集合，其中，图像集合包括Y个图像，Y为大于或等于2，且小于或等于X的整数，图像集合包括第一图像集合以及第二图像集合。
在一种可能的设计中，在本申请实施例的第三方面的第二种实现方式中，
获取模块，具体用于从待处理图像集合中获取第一待处理图像以及第二待处理图像；
根据获取模块获取的第一待处理图像获取第一检测区域；
根据获取模块获取的第二待处理图像获取第二检测区域；
通过图像分类模型获取第一检测区域所对应的图像特征；
通过图像分类模型获取第二检测区域所对应的图像特征；
确定模块，具体用于根据获取模块获取的第一检测区域所对应的图像特征以及获取模块获取的第二检测区域所对应的图像特征，确定第一检测区域与第二检测区域之间的第一相似度；
去重模块，具体用于若确定模块确定的第一相似度大于或等于相似度阈值，则从待处理图像集合中去除第一待处理图像。
在一种可能的设计中，在本申请实施例的第三方面的第三种实现方式中，
获取模块，还用于若确定模块确定的第一相似度小于相似度阈值，则从待处理图像集合中获取第三待处理图像；
获取模块，还用于根据获取模块获取的第三待处理图像获取第三检测区域；
获取模块，还用于通过图像分类模型获取第三检测区域所对应的图像特征；
确定模块，还用于根据获取模块获取的第一检测区域所对应的图像特征以及获取模块获取的第三检测区域所对应的图像特征，确定第一检测区域与第三检测区域之间的第二相似度；
去重模块，还用于若确定模块确定的第二相似度大于或等于相似度阈值，则从待处理图像集合中去除第一待处理图像。
在一种可能的设计中，在本申请实施例的第三方面的第四种实现方式中，标注信息验证装置还包括增强模块以及训练模块，
增强模块，用于对图像集合中的图像进行数据增强处理，得到待训练图像集合，其中，待训练图像集合包括至少一个待训练图像，待训练图像集合对应于真实标签集合，真实标签集合包括至少一个真实标签，真实标签与待训练图像具有对应关系；
获取模块，还用于基于增强模块得到的待训练图像集合，通过待训练图像分类模型的卷积层获取第一待训练特征集合，其中，第一待训练特征集合包括至少一个第一待训练特征，且第一待训练特征与待训练图像具有对应关系；
获取模块，还用于基于获取模块获取的第一待训练特征集合，通过待训练图像分类模型的第一全连接层获取第一预测标签集合，其中，第一预测标签集合包括至少一个第一预测标签，第一预测标签与待训练图像具有对应关系；
获取模块，还用于基于增强模块得到的待训练图像集合，通过待训练图像分类模型的池化层获取第二待训练特征集合，其中，第二待训练特征集合包括至少一个第二待训练特征，且第二待训练特征与待训练图像具有对应关系；
获取模块，还用于基于获取模块获取的第二待训练特征集合，通过待训练图像分类模型的第二全连接层获取第二预测标签集合，其中，第二预测标签集合包括至少一个第二预测标签，第二预测标签与待训练图像具有对应关系；
训练模块，用于根据获取模块获取的真实标签集合、第一预测标签集合以及第二预测标签集合，对待训练图像分类模型进行训练，得到图像分类模型。
在一种可能的设计中，在本申请实施例的第三方面的第五种实现方式中，
训练模块，具体用于基于真实标签集合、第一预测标签集合以及第二预测标签集合，根据目标损失函数更新待训练图像分类模型的模型参数，其中，目标损失函数包括第一损失函数以及第二损失函数，第一损失函数为根据真实标签集合以及第一预测标签集合确定的，第二损失函数为根据真实标签集合以及第二预测标签集合确定的，且第一损失函数对应于第一权重值，第二损失函数对应于第二权重值；
若目标损失函数达到收敛，则根据模型参数生成图像分类模型。
在一种可能的设计中，在本申请实施例的第三方面的第六种实现方式中，
获取模块，具体用于获取待验证图像所对应的待检测区域，以及第一图像集合所对应的T个检测区域，其中，T为大于或等于1的整数，检测区域与第一图像具有对应关系；
通过图像分类模型获取待检测区域所对应的第一图像特征以及第二图像特征，其中，第一图像特征为待检测区域的全局特征，第二图像特征为待检测区域的局部特征；
通过图像分类模型获取T个检测区域所对应的第三图像特征集合以及第四图像特征集合，其中，第三图像特征集合包括T个第三图像特征，第三图像特征与检测区域具有对应关系，第四图像特征集合包括T个第四图像特征，第四图像特征与检测区域具有对应关系，第三图像特征为检测区域的全局特征，第四图像特征为检测区域的局部特征；
确定模块，具体用于根据获取模块获取的第一图像特征、第二图像特征、第三图像特征集合以及第四图像特征集合，确定类内相似度集合，其中，类内相似度集合包括T个类内相似度；
从确定模块确定的类内相似度集合中确定目标类内相似度。
在一种可能的设计中，在本申请实施例的第三方面的第七种实现方式中，标注信息验证装置还包括选择模块，
获取模块，具体用于获取第一图像集合的图像个数；
确定模块，具体用于根据获取模块获取的第一图像集合的图像个数以及容错率阈值，确定目标图像个数；
选择模块，用于若确定模块确定的目标图像个数小于或等于图像个数阈值，则按照目标图像个数从类内相似度集合中选择目标类内相似度；
选择模块，还用于若确定模块确定的目标图像个数大于图像个数阈值，则按照图像个数阈值从类内相似度集合中选择目标类内相似度。
在一种可能的设计中，在本申请实施例的第三方面的第八种实现方式中，
获取模块，具体用于获取待验证图像所对应的待检测区域，以及第二图像集合所对应的Q个检测区域，其中，Q为大于或等于1的整数，检测区域与第二图像具有对应关系；
通过图像分类模型获取待检测区域所对应的第一图像特征以及第二图像特征，其中，第一图像特征为待检测区域的全局特征，第二图像特征为待检测区域的局部特征；
通过图像分类模型获取Q个检测区域所对应的第五图像特征集合以及第六图像特征集合，其中，第五图像特征集合包括Q个第五图像特征，第五图像特征与检测区域具有对应关系，第六图像特征集合包括Q个第六图像特征，第六图像特征与检测区域具有对应关系，第五图像特征为检测区域的全局特征，第六图像特征为检测区域的局部特征；
确定模块，具体用于根据获取模块获取的第一图像特征、第二图像特征、第四图像特征集合以及第五图像特征集合，确定类间相似度集合，其中，类间相似度集合包括至少一个类间相似度；
从确定模块确定的类间相似度集合中确定目标类间相似度。
在一种可能的设计中，在本申请实施例的第三方面的第九种实现方式中，
确定模块，具体用于将类间相似度集合中的类间相似度按照从大到小进行排序，得到类间相似度序列，其中，类间相似度序列包括R个类间相似度，R为大于或等于1的整数；
将类间相似度序列中的中值所对应的类间相似度确定为目标类间相似度。
在一种可能的设计中，在本申请实施例的第三方面的第十种实现方式中，
确定模块，具体用于若目标类间相似度大于或等于目标类内相似度，则确定目标标注信息为错误标注结果；
若目标类间相似度小于目标类内相似度，则确定目标标注信息为正确标注结果。
在一种可能的设计中，在本申请实施例的第三方面的第十一种实现方式中，标注信息验证装置还包括生成模块，
获取模块，还用于获取待添加图像集合所对应的图像特征集合，其中，待添加图像集合包括至少一个待添加图像，图像特征集合包括至少一个图像特征，图像特征与待添加图像具有对应关系；
生成模块，用于根据获取模块获取的图像特征集合生成目标聚类中心集合，其中，目标聚类中心集合包括P个目标聚类中心，P为大于或等于1的整数；
确定模块，还用于根据生成模块生成的目标聚类中心集合以及M个聚类中心集合，确定目标聚类中心集合所对应的相似聚类中心集合，其中，M为大于或等于1的整数，相似聚类中心集合属于M个聚类中心集合中的一个集合，聚类中心集合包括至少P个聚类中心；
获取模块，还用于根据确定模块确定的相似聚类中心集合获取聚类数值；
确定模块，还用于若获取模块获取的聚类数值大于或等于聚类阈值，则确定待添加图像集合所对应的类别与相似聚类中心集合所对应的类别为相似类别。
本申请第四方面提供一种类别确定装置，包括：
获取模块，用于获取待添加图像集合所对应的图像特征集合，其中，待添加图像集合包括至少一个待添加图像，图像特征集合包括至少一个图像特征，图像特征与待添加图像具有对应关系；
生成模块，用于根据获取模块获取的图像特征集合以生成目标聚类中心集合，其中，目标聚类中心集合包括P个目标聚类中心，P为大于或等于1的整数；
确定模块，用于根据生成模块生成的目标聚类中心集合以及M个聚类中心集合，确定目标聚类中心集合所对应的相似聚类中心集合，其中，M为大于或等于1的整数，相似聚类中心集合属于M个聚类中心集合中的一个集合，聚类中心集合包括至少P个聚类中心；
获取模块，还用于根据确定模块确定的相似聚类中心集合获取聚类数值；
确定模块，还用于若获取模块获取的聚类数值大于或等于聚类阈值，则确定待添加图像集合所对应的类别与相似聚类中心集合所对应的类别为相似类别。
本申请的第四方面提供了一种服务器，服务器包括至少一个处理器和通信接口，该服务器中还可以包括存储器，存储器、通信接口，和至少一个处理器通过线路互联，至少一个存储器中存储有指令；
指令被处理器执行，以执行第三方面或第三方面任一可能的实现方式中标注信息验证装置的操作。
本申请的第五方面提供了一种服务器，服务器包括至少一个处理器和通信接口，该服务器中还可以包括存储器，存储器、通信接口，和至少一个处理器通过线路互联，至少一个存储器中存储有指令；
指令被处理器执行，以执行第四方面类别确定装置的操作。
本申请的第六方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，提供了一种标注信息验证的方法，首先可以获取待验证图像、包括至少一个第一图像的第一图像集合以及包括至少一个第二图像的第二图像集合，然后根据待验证图像以及第一图像集合确定目标类内相似度，其中待验证图像对应于目标标注信息，第一图像集合中的第一图像对应于第一标注信息，目标标注信息与第一标注信息属于相同类别的标注信息，进一步地可以根据待验证图像以及第二图像集合确定目标类间相似度，其中第二图像集合中的第二图像对应于第二标注信息，第二标注信息与目标标注信息属于不同类别的标注信息，最后根据目标类内相似度以及目标类间相似度，确定目标标注信息的验证结果。通过上述方式，针对SKU检索数据库中的图像可以确定对应的类内相似度以及类间相似度，基于类内相似度与类间相似度，生成该图像所对应的标注信息的验证结果，从而可以根据验证结果对该图像进行剔除或修改等操作，由此提升SKU检索数据库内数据的准确性。
附图说明
图1为本申请实施例中拍摄图像的一个实施例示意图；
图2为本申请实施例中服务器的一个架构示意图；
图3为本申请实施例中标注信息验证的方法一个实施例示意图；
图4为本申请实施例中待验证图像的获取方法一个实施例示意图；
图5为本申请实施例中检测区域的获取方法一个实施例示意图；
图6为本申请实施例中图像分类模型一个网络框架示意图；
图7为本申请实施例中标注信息验证的方法一个流程示意图；
图8为本申请实施例中类别确定的一个流程示意图；
图9为本申请实施例中类别确定的方法一个实施例示意图；
图10为本申请实施例中相似类别商品推荐一个实施例示意图；
图11为本申请实施例中标注信息验证装置一个实施例示意图；
图12为本申请实施例中类别确定装置一个实施例示意图；
图13为本申请实施例中服务器的一个结构示意图。
具体实施方式
本申请实施例提供了一种标注信息验证的方法、类别确定的方法及装置，用于针对SKU检索数据库中的图像可以确定对应的类内相似度以及类间相似度，基于类内相似度与类间相似度，生成该图像所对应的标注信息的验证结果，从而可以根据验证结果对该图像进行剔除或修改等操作，由此提升SKU检索数据库内数据的准确性。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解，本申请实施例可以应用于需要对图像中的标注信息进行验证的场景中，前述图像可以为商品俯视图像、商品正视图像以及商品部分图像。具体地，作为示例，例如在货架合规性检查的场景中，为了品牌商可以分析商品陈列排面占比、重点SKU分销率、缺货率以及合格率，需要对货架、冰柜或者端架上所陈列的不同商品的数量以及种类进行识别，因此在识别过程中需要对拍摄装置所获取的图像中不同商品所对应的标注信息进行验证，从而能够准确的识别不同商品的数量以及种类。作为另一示例，例如在自助结算的场景中，在进行自助结算时，可以采用拍摄装置获取所需结算的商品，然后对商品进行自动识别，进而根据识别结果使得支付系统对该商品进行结算，因此需要在对该商品的识别过程中对拍摄装置所获取的图像中商品所对应的标注信息进行验证，而能够准确的识别该商品所对应的SKU，从而与拍摄装置和支付系统结合完成准确的自助结算。而作为另一示例，例如在互动营销的场景中，由于在该场景中仅在用户界面提交商品图片，因此需要对提交的商品图像所对应的SKU进行识别，以配合游戏规则完成不同方式的互动营销，提升商品查找的准确度。作为又一示例，例如在智能货柜的场景中，需要采用拍摄装置获取所购买的商品，然后对该商品进行自动识别，进而根据识别结果对该商品结算，因此需要对货柜中所售卖的商品进行图像标注及训练，使得在购买商品时能对商品所对应的标注信息进行验证，从而实现在智能货柜中对购买的商品进行准确地自动识别并结算。应理解，智能货柜可以有多种类型，例如设置在地铁站内或者大型商场内的投币式自动贩售机，或者设置在办公场所及无人便利店等内的无人售货式智能货柜，即在无人智能货柜内的标注信息验证的方法不但可以应用于掉落式取物的自动贩售机，还可以应用于开门式取物的无人售货式智能货柜。此处不对应用场景进行穷举。
目前，对商品图像中标注信息进行验证可以采取下述商品检索的方法，该商品检索的方法流程可以分别为图像预处理、图像特征提取、目标区域检测、更新数据库以及目标检索。具体地，以智能货柜为例，在智能货柜内部会设置有拍摄装置，定期拍摄智能货柜内商品的图像，请参阅图1，图1为本申请实施例中拍摄图像的一个实施例示意图，如图所示，由于智能货柜实时提供商品服务，因此如图1中(A1)至如图1中(A2)所示，智能货柜中的商品数量已经出现变动，而如图1中(A2)至图1中(A3)，图1中(A3)至图1中(A4)，可以看到商品数量降低，这时候可以对数量较少的商品进行补充，因此可以对图1中(A1)所示的图像进行预处理获取到SKU图像，然后将该SKU图像上传至服务器，对SKU图像进行特征提取，完成特征提取后即可以在需要使用智能货柜进行商品购物时，对拍摄装置拍摄的商品图像进行验证。完成特征提取后还可以让后台工作人员对商品目标区域进行选择，并且在完成选择后对SKU图像进行标注，进而可以得到该商品的标注信息，即可以根据该商品的标注信息更新SKU检索数据库。当需要使用智能货柜进行商品购物时，则可以根据该更新后SKU检索数据库对拍摄装置拍摄的商品图像中的标注信息进行验证。若通过验证，则可以向智能货柜中及时补充该图像对应的商品。然而，SKU图像存在视觉特征上的相似，当SKU检索数据库中存在相似的SKU图像时，检索时会互相干扰，另外，由于SKU图片的数量较多，而且SKU图片的相似性较高，工作人员对SKU图像进行标注时，容易出现标注错误的情况，产生标注错误的样本，这些标注错误的样本也会被录入不匹配SKU检索数据库，检索时这些标注错误的图像会干扰检索，从而导致SKU检索数据库内存储的数据准确性较低。
为了在上述场景中，提升SKU检索数据库内数据的准确性，本申请提出了一种标注信息验证的方法，该方法应用于图2所示的服务器，请参阅图2，图2为本申请实施例中服务器的一个架构示意图，如图所示，服务器中包括服务器和终端设备。
具体地，服务器可以获取待验证图像、第一图像集合以及第二图像集合，基于待验证图像以及第一图像集合确定目标类内相似度，待验证图像具有目标标注信息，第一图像集合中每个第一图像对应于第一标注信息，且目标标注信息与第一标注信息属于相同类别的标注信息(例如都属于A品牌柠檬茶)，进一步地可以根据待验证图像以及第二图像集合确定目标类间相似度，第二图像集合中的第二图像具有第二标注信息，第二标注信息与目标标注信息属于不同类别的标注信息(例如待验证图像属于A品牌柠檬茶，第二图像属于B品牌柠檬茶)，结合目标类内相似度以及目标类间相似度，确定目标标注信息的验证结果。
图2中的服务器可以是一台服务器或多台服务器组成的服务器集群或云计算中心等，具体此处均不限定。终端设备可以为图1中示出的平板电脑、笔记本电脑、掌上电脑、手机、个人电脑(personal computer，PC)及语音交互设备，也可以为智能销售设备，此处不做限定。
虽然图2中仅示出了五个终端设备和一个服务器，但应当理解，图2中的示例仅用于理解本方案，具体终端设备和服务器的数量均应当结合实际情况灵活确定。
结合上述介绍，下面将对本申请中标注信息验证的方法进行介绍，请参阅图3，图3为本申请实施例中标注信息验证的方法一个实施例示意图，如图所示，本申请实施例中标注信息验证的方法一个实施例包括：
101、获取待验证图像、第一图像集合以及第二图像集合，其中，第一图像集合包括至少一个第一图像，第二图像集合包括至少一个第二图像；
本实施例中，标注信息验证装置可以获取到待验证图像、包括至少一个第一图像的第一图像集合以及包括至少一个第二图像的第二图像集合，其中第一图像以及第二图像可以为标注信息验证装置通过有线网络接收到的图像，还可以为标注信息验证装置本身存储的图像。而待验证图像可以为通过拍摄装置所获取并且被标注的图像，因此待验证图像中包括标注信息，且待验证图像的标注信息是需要被进一步进行验证的。
需要说明的是，标注信息验证装置可以部署于服务器，也可以部署于终端设备，本申请以部署于服务器为例进行介绍，然而这不应理解为对本申请的限定。
为了便于理解，以智能货柜为示例进行说明，请参阅图4，图4为本申请实施例中待验证图像的获取方法一个实施例示意图，如图所示，智能货柜可以通过拍摄装置B1对商品进行俯视角度的拍摄并且获取到拍摄图像，然后对拍摄图像通过图像识别技术生成待验证图像B2，可以看到待验证图像B2中包括标注信息B21、B22、B23、B24、B25以及B26，例如标注信息B21为A品牌乌龙茶，B22为A品牌可乐，B23为A品牌奶茶，B24为A品牌牛奶，B25为A品牌咖啡，B26为A品牌运动饮料，并且标注信息需要进行进一步验证是否标注准确。
102、根据待验证图像以及第一图像集合确定目标类内相似度，其中，待验证图像对应于目标标注信息，第一图像集合中的第一图像对应于第一标注信息，目标标注信息与第一标注信息属于相同类别的标注信息；
本实施例中，可以根据步骤101所获取到的待验证图像以及第一图像集合确定目标类内相似度，而待验证图像可以对应于目标标注信息，第一图像集合中的第一图像可以对应于第一标注信息，并且目标标注信息与第一标注信息需要属于相同类别的标注信息。示例性地，以目标标注信息为A品牌柠檬茶为示例进行说明，那么第一标注信息也应该为A品牌柠檬茶。
103、根据待验证图像以及第二图像集合确定目标类间相似度，其中，第二图像集合中的第二图像对应于第二标注信息，第二标注信息与目标标注信息属于不同类别的标注信息；
本实施例中，可以根据步骤101所获取到的待验证图像以及第二图像集合确定目标类内相似度，第二图像集合中的第二图像可以对应于第二标注信息，第二标注信息与目标标注信息需要属于不同类别的标注信息。示例性地，以目标标注信息为A品牌柠檬茶为示例进行说明，那么第二标注信息可以为B品牌柠檬茶，或者第二标注信息还可以为A品牌可乐。
需要说明的是，步骤102与步骤103之间没有时序上的限定。
104、根据目标类内相似度以及目标类间相似度，确定目标标注信息的验证结果。
本实施例中，可以根据目标类内相似度以及目标类间相似度，确定目标标注信息的验证结果。具体地，当待验证图像的目标标注信息为A品牌柠檬茶，第一标注信息为A品牌柠檬茶，第二标注信息为A品牌豆奶，当目标类内相似度低，且目标类间相似度高时，说明待验证图像的目标标注信息为A品牌柠檬茶是不准确的，可以确定目标标注信息的验证失败，待验证图像不属于A品牌柠檬茶。而当待验证图像的目标标注信息为A品牌柠檬茶，第一标注信息为A品牌柠檬茶，第二标注信息为A品牌豆奶，并且目标类内相似度高且目标类间相似度低时，说明待验证图像的目标标注信息为A品牌柠檬茶是准确的，则可以确定目标标注信息的验证成功。
本申请实施例中，提供了一种标注信息验证的方法，针对SKU检索数据库中的图像可以确定对应的类内相似度以及类间相似度，基于类内相似度与类间相似度，生成该图像所对应的标注信息的验证结果，从而可以根据验证结果对该图像进行剔除或修改等操作，由此提升SKU检索数据库内数据的准确性。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的标注信息验证的方法一个可选实施例中，获取待验证图像、第一图像集合以及第二图像集合之前，还可以包括：
获取待处理图像集合，待处理图像集合包括X个图像，X为大于或等于2的整数；
对待处理图像集合进行去重处理，得到图像集合，图像集合包括Y个图像，Y为大于或等于2的整数，且小于或等于X的整数，图像集合包括第一图像集合以及第二图像集合。
本实施例中，可以获取到包括X个图像的待处理图像集合，然后对待处理图像集合进行去重处理，得到包括Y个图像的图像集合，并且图像集合包括第一图像集合以及第二图像集合。
示例性地，以获取到包括有100个图像的待处理图像合集为例进行说明，在待处理图像合集的100个图像中有多个相似度较高的图像，这时候可以对前述多个相似度较高的图像进行去重处理，然后得到去重后的图像集合，该图像集合中所包括的图像数量至少大于2个并且小于100个。也就是说当处理图像合集中存在有相似度较高的图像时，则图像集合中包括的图像个数小于处理图像合集中包括的图像个数；当处理图像合集中的图像相似度较低时，则图像集合中包括的图像个数就等于处理图像合集中包括的图像个数。
本申请实施例中，提供了一种图像集合的获取方法，可以对获取到的待处理图像集合进行去重，得到去重后的图像集合，该图像集合不具有较高相似度，保证了集合中的图像不会因为相似度较高而产生错误标注，由此提升后续验证结果的准确度，从而提升SKU检索数据库内数据的准确性。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的标注信息验证的方法一个可选实施例中，对待处理图像集合进行去重处理，得到图像集合，可以包括：
从待处理图像集合中获取第一待处理图像以及第二待处理图像；
根据第一待处理图像获取第一检测区域；
根据第二待处理图像获取第二检测区域；
通过图像分类模型获取第一检测区域所对应的图像特征；
通过图像分类模型获取第二检测区域所对应的图像特征；
根据第一检测区域所对应的图像特征以及第二检测区域所对应的图像特征，确定第一检测区域与第二检测区域之间的第一相似度；
若第一相似度大于或等于相似度阈值，则从待处理图像集合中去除第一待处理图像。
本实施例中，在获取到包括X个图像的待处理图像集合之后，可以待处理图像集合的从X个图像中获取第一待处理图像以及第二待处理图像，然后根据第一待处理图像获取第一检测区域，并且根据第二待处理图像获取第二检测区域。
通过图像分类模型获取第一检测区域所对应的图像特征，并且通过图像分类模型获取第二检测区域所对应的图像特征。再根据第一检测区域所对应的图像特征以及第二检测区域所对应的图像特征，确定第一检测区域与第二检测区域之间的第一相似度，当第一相似度大于或等于相似度阈值时，则从待处理图像集合中去除第一待处理图像。
示例性地，本实施例在获取第一待处理图像以及第二待处理图像之后，可以通过人工标注的方式将检测区域从图像中框出来。请参阅图5，图5为本申请实施例中检测区域的获取方法一个实施例示意图，如图所示，如5中(A)所示C1标识第一待处理图像，那么在第一待处理图像C1中可以通过人工标注的方式将需要检测区域C11以标注框的形式选择，从而获取到仅包含检测区域C11的第一检测区域C2所对应的图像。其次，如图所示，如图5中(B)所示C3标识第二待处理图像，那么在第二待处理图像C3中也可以通过人工标注的方式将需要检测区域C31以标注框的形式选择，从而获取到仅包含检测区域C31的第二检测区域C4所对应的图像。
在获取到第一检测区域以及第二检测区域后，需要通过图像分类模型获取所对应的图像特征。具体地，图像特征提取指的是从第一检测区域以及第二检测区域的原始像素点中提取更高级的特征，这些特征能捕捉到各个类别间的区别。图像特征提取可以使用无监督方式，也就是说从第一检测区域以及第二检测区域的像素点中提取信息时没有用到图像的类别标签，无监督方式的图像特征的提取方法可以包括但不限于方向梯度直方图(histogram of oriented gradient，HOG)、尺度不变特征变换(scale-invariant featuretaransform，SIFT)以及局部二值模式(local binary pattern，LBP)。并且在通过特征提取之后，还可以使用第一检测区域以及第二检测区域所对应的图像特征以及其对应的类别标签训练图像分类模型。若采用HOG、SIFT以及LBP的特征提取方式，还可以结合多种特征提取器，然后组合多种特征提取器得到一种更好的特征，达到一个很好的准确度。
图像分类模型的准确度不仅取决于网络，还取决于训练样本数量，而卷积神经网络(convolutional neural network，CNN)模型可以在标准数据集ImageNet上做对比，并且CNN的参数少，可以层叠出深度结构，还可以根据标签提取出稀疏特征，因此CNN模型具有较高的准确度。在准确度和计算量的基础上，还需要考虑训练的容易度以及模型的泛化能力，因此本实施例中采用CNN模型对图像特征进行获取。随着网络深度增加，网络的准确度应该同步增加，还需要注意过拟合问题，本申请采取残差网络(ResNet)可以训练更深的网络。应理解，在实际应用中，还可以采取其他类型的图像分类模型对特征进行提取，在此不做限定。
为了便于理解，以第一检测区域所对应的图像特征为f1以及第二检测区域所对应的图像特征为f2为示例进行说明，然后即可以计算f1以及f2之间的第一相似度。具体地，本申请并不限定采用何种距离定义为相似度，下面将介绍几种本实施例中可以使用的距离。第一种为欧氏距离(Euclidean Distance)，第二种为余弦距离(Cosine Distance)，第三种为杰卡德距离((Jaccard Distance)，第四种为马氏距离(Mahalanobis Distances)。由于本实施例中需要对图像的特征差异进行区分，因此本实施例中采用余弦距离对图像特征进行计算，具体地，使用如下公式对第一检测区域所对应的图像特征f1以及第二检测区域所对应的图像特征f2进行计算并得到余弦距离：
Figure BDA0002309133200000111
其中，cosine(f1,f2)表示余弦距离，或者说表示本实施例中的第一相似度，f1表示第一检测区域所对应的图像特征，f2表示第二检测区域所对应的图像特征。
本实施例中以相似度阈值等于0.9为示例，当cosine(f1,f2)≥0.9时，即表示第一相似度大于或等于相似度阈值，并且说明第一待处理图像与第二待处理图像相似度高，然而待处理图像集合中的图像若相似度较高则会对检测结果贡献较低，浪费计算资源，因此可以从待处理图像集合中去除第一待处理图像，降低待处理图像集合中的图像的相似度，提升图像之间的差异性。应理解，本实施例以第一待处理图像为主对比对象进行对比，因此去除第一待处理图像，在实际应用中也可以以第二待处理图像为主对比对象进行对比，类似地，第一相似度大于或等于相似度阈值时，也可以去除第二待处理图像。
本申请实施例中，提供了一种对图像进行相似去重的方法，通过上述方式，去除相似度较高的图像，降低待处理图像集合中的图像的相似度，提升图像之间的差异性，从而提升标注信息验证的准确度。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的标注信息验证的方法一个可选实施例中，确定第一检测区域与第二检测区域之间的第一相似度之后，方法还包括：
若第一相似度小于相似度阈值，则从待处理图像集合中获取第三待处理图像；
根据第三待处理图像获取第三检测区域；
通过图像分类模型获取第三检测区域所对应的图像特征；
根据第一检测区域所对应的图像特征以及第三检测区域所对应的图像特征，确定第一检测区域与第三检测区域之间的第二相似度；
若第二相似度大于或等于相似度阈值，则从待处理图像集合中去除第一待处理图像。
本实施例中，当第一相似度小于相似度阈值时，则从待处理图像集合中获取第三待处理图像，然后根据第三待处理图像获取第三检测区域，而可以通过图像分类模型获取第三检测区域所对应的图像特征，进一步地，可以根据第三检测区域所对应的图像特征，以及前述步骤所获取的第一检测区域所对应的图像特征，确定第一检测区域与第三检测区域之间的第二相似度，当第二相似度大于或等于相似度阈值时，则从待处理图像集合中去除第一待处理图像。
在获取到第三检测区域后，需要通过图像分类模型获取所对应的图像特征。并且在通过特征提取之后，还可以使用第三检测区域所对应的图像特征以及其对应的类别标签训练图像分类模型。
为了便于理解，以第一检测区域所对应的图像特征为f1以及第三检测区域所对应的图像特征为f3为示例进行说明，然后即可以计算f1以及f3之间的第二相似度。具体地，使用如下公式对第一检测区域所对应的图像特征f1以及第三检测区域所对应的图像特征f3进行计算并得到余弦距离：
Figure BDA0002309133200000121
其中，cosine(f1,f3)表示余弦距离，或者说表示本实施例中的第二相似度，f1表示第一检测区域所对应的图像特征，f3表示第三检测区域所对应的图像特征。
本实施例中以去相似度阈值等于0.9为示例，当cosine(f1,f3)≥0.9时，即表示第二相似度大于或等于相似度阈值，并且说明第一待处理图像与第三待处理图像相似度高，然而待处理图像集合中的图像若相似度较高则会对检测结果贡献较低，浪费计算资源，因此可以从待处理图像集合中去除第一待处理图像，降低待处理图像集合中的图像的相似度，提升图像之间的差异性。应理解，本实施例以第一待处理图像为主对比对象进行对比，因此去除第一待处理图像，在实际应用中也可以以第三待处理图像为主对比对象进行对比，类似地，第二相似度大于或等于相似度阈值时，也可以去除第三待处理图像。而当cosine(f1,f3)<0.9时，即表示第二相似度小于相似度阈值，并且说明第一待处理图像与第三待处理图像相似度低，然后需要继续执行本实施例中从待处理图像集合获取新的待处理图像，并且以该待处理图像的图像特征与第一待处理图像的图像特征计算相似度，直到待处理图像集合中每个图像都进行过两两的相似度比较，并且待处理图像集合中每个图像的之间相似都小于相似度阈值0.9后，即待处理图像集合完成去重，得到图像合集。
本申请实施例中，提供了另一种对图像进行相似去重的方法，通过上述方式，可以去除待处理图像合集中相似度较高的图像，降低待处理图像集合中的图像的相似度，提升图像之间的差异性，并且完成待处理图像合集所有图像的相似度对比后，可以得到去重后的图像集合，该图像集合不具有较高相似度，保证了集合中的图像不会因为相似度较高而产生错误标注，由此提升后续验证结果的准确度，从而提升SKU检索数据库内数据的准确性。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的标注信息验证的方法一个可选实施例中，还可以包括：
对图像集合中的图像进行数据增强处理，得到待训练图像集合，其中，待训练图像集合包括至少一个待训练图像，待训练图像集合对应于真实标签集合，真实标签集合包括至少一个真实标签，真实标签与待训练图像具有对应关系；
基于待训练图像集合，通过待训练图像分类模型的卷积层获取第一待训练特征集合，其中，第一待训练特征集合包括至少一个第一待训练特征，且第一待训练特征与待训练图像具有对应关系；
基于第一待训练特征集合，通过待训练图像分类模型的第一全连接层获取第一预测标签集合，其中，第一预测标签集合包括至少一个第一预测标签，第一预测标签与待训练图像具有对应关系；
基于待训练图像集合，通过待训练图像分类模型的池化层获取第二待训练特征集合，其中，第二待训练特征集合包括至少一个第二待训练特征，且第二待训练特征与待训练图像具有对应关系；
基于第二待训练特征集合，通过待训练图像分类模型的第二全连接层获取第二预测标签集合，其中，第二预测标签集合包括至少一个第二预测标签，第二预测标签与待训练图像具有对应关系；
根据真实标签集合、第一预测标签集合以及第二预测标签集合，对待训练图像分类模型进行训练，得到图像分类模型。
本实施例中，可以对图像集合中的图像进行数据增强处理，得到包括至少一个待训练图像的待训练图像集合。数据增强处理包括但不限于剪裁、平移、缩放、水平翻转以及颜色增强。具体地，对图像集合中的图像进行剪裁，可以通过先在原图的图像上放大，然后剪裁放大后的图像得到。而对图像集合中的图像进行平移，可以先放大原图的图像，然后水平或垂直偏移位置剪切放大后的图像。对图像集合中的图像进行缩放就是对图像仅进行缩小或者放大处理。对图像集合中的图像进行水平翻转，则可以过图像中心的竖直轴为对称轴，将图像左、右两边进行像素交换。对图像集合中的图像进行颜色增强，可以包括但不限于对图像的饱和度、亮度、对比度以及锐度进行增强。本实施例以图像集合中有100个图像为例，数据增强还可以包括对图片做一些随机的变化，例如将1张图变成2个图。
训练可以有两种方式，第一种为全量训练，例如图像集合中总共有100个图像，那么可以将这100个图像都输入至图像分类模型对其进行训练。而第二种为部分训练，例如图像集合中总共有100个图像，可以从100个图像里选择出80个图像输入至图像分类模型对其进行训练，剩下的20个图像可以作为验证集来进行验证。
为了便于理解，请参阅图6，图6为本申请实施例中图像分类模型一个网络框架示意图，如图所示，在得到包括至少一个待训练图像的待训练图像集合之后，可以将待训练图像集合中的图像作为Resnet50的输入，图像输入是(224，224，3)，其中3表示3个通道，而Resnet50的五层中，每层输出的特征图谱长宽都会比上一层缩小一半，例如从Resnet的第一层到第二层为224到112，第二层到第三层为112到56，第三层到第四层为56到28，第四层到第五次即为28到14，因此最后第五层输出的图像特征图谱为(7，7，2048)，其中2048表示2048个通道。进一步地，可以将(7，7，2048)作为待训练图像分类模型的卷积层的输入，且该卷积层的卷积核为(1*1*2048*64)，然后可以获取到包括至少一个第一待训练特征的第一待训练特征集合，并且第一待训练特征与待训练图像具有对应关系，第一待训练特征表示为(7，7，64)。进一步地，将第一待训练特征集合输入至待训练图像分类模型中的第一全连接层，输出包括至少一个第一预测标签的第一预测标签集合，并且第一预测标签与待训练图像具有对应关系。
在通过Resnet50的第五层输出的图像特征图谱(7，7，2048)后，还可以将(7，7，2048)作为待训练图像分类模型的池化层的输入，然后待训练图像分类模型的池化层输出包括至少一个第二待训练特征的第二待训练特征集合，并且第二待训练特征与待训练图像具有对应关系。该池化层具体可以是平均池化层或最大池化层。将第二待训练特征集合作为待训练图像分类模型的第二全连接层的输入，然后第二全连接层会输出包括至少一个第二预测标签的第二预测标签集合，并且第二预测标签与待训练图像具有对应关系。
根据获取到的真实标签集合、第一预测标签集合以及第二预测标签集合，对待训练图像分类模型进行训练，从而得到图像分类模型。
本申请实施例中，提供了一种图像分类模型的训练的方法，通过上述方式，图像集合经过数据增强之后的待训练图像集合所对应的标签集合，以及真实标签集合训练图像分类模型，对新类别的待训练图像集合进行训练，可以很好的拟合待训练图像集合的特征，提升了之后根据图像分类模型提取到的特征质量，由此提升后续验证结果的准确度，从而提升SKU检索数据库内数据的准确性。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的标注信息验证的方法一个可选实施例中，根据真实标签集合、第一预测标签集合以及第二预测标签集合，对待训练图像分类模型进行训练，得到图像分类模型，可以包括：
基于真实标签集合、第一预测标签集合以及第二预测标签集合，根据目标损失函数更新待训练图像分类模型的模型参数，其中，目标损失函数包括第一损失函数以及第二损失函数，第一损失函数为根据真实标签集合以及第一预测标签集合确定的，第二损失函数为根据真实标签集合以及第二预测标签集合确定的，且第一损失函数对应于第一权重值，第二损失函数对应于第二权重值；
若目标损失函数达到收敛，则根据模型参数生成图像分类模型。
本实施例中，可以基于所获取到的真实标签集合、第一预测标签集合以及第二预测标签集合，根据真实标签集合以及第一预测标签集合确定第一损失函数，第一损失函数对应于第一权重值，并且还可以根据真实标签集合以及第二预测标签集合确定第二损失函数，第二损失函数对应于第二权重值，基于第一损失函数以及第二损失函数生成目标损失函数。然后可以根据目标损失函数更新待训练图像分类模型的模型参数。当目标损失函数达到收敛时，将此时的模型参数作为图像分类模型的模型参数。
本申请实施例中，提供了一种图像分类模型生成的方法，通过上述方式，可以根据不同的预测标签集合确定不同的损失函数以及对应的权重值，从而得到目标损失函数，通过目标损失函数更新模型参数可以提升模型参数的准确度，而目标函数收敛时候，则可以采用准确度高的模型参数生成图像分类模型，从而提升图像分类模型输出特征的准确度。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的标注信息验证的方法一个可选实施例中，根据待验证图像以及第一图像集合确定目标类内相似度，可以包括：
获取待验证图像所对应的待检测区域，以及第一图像集合所对应的T个检测区域，其中，T为大于或等于1的整数，检测区域与第一图像具有对应关系；
通过图像分类模型获取待检测区域所对应的第一图像特征以及第二图像特征，其中，第一图像特征为待检测区域的全局特征，第二图像特征为待检测区域的局部特征；
通过图像分类模型获取T个检测区域所对应的第三图像特征集合以及第四图像特征集合，其中，第三图像特征集合包括T个第三图像特征，第三图像特征与检测区域具有对应关系，第四图像特征集合包括T个第四图像特征，第四图像特征与检测区域具有对应关系，第三图像特征为检测区域的全局特征，第四图像特征为检测区域的局部特征；
根据第一图像特征、第二图像特征、第三图像特征集合以及第四图像特征集合，确定类内相似度集合，其中，类内相似度集合包括T个类内相似度；
从类内相似度集合中确定目标类内相似度。
本实施例中，可以先获取待验证图像所对应的待检测区域，以及第一图像集合所对应的T个检测区域，并且检测区域与第一图像具有对应关系，然后通过图像分类模型获取待检测区域所对应的全局特征(即第一图像特征)，以及待检测区域所对应的局部特征(即第二图像特征)，通过图像分类模型获取T个检测区域所对应包括T个第三图像特征的第三图像特征集合，以及包括T个第四图像特征的第四图像特征集合，第三图像特征为检测区域的全局特征，第四图像特征为检测区域的局部特征，由此可以根据第一图像特征、第二图像特征、第三图像特征集合以及第四图像特征集合，确定包括T个类内相似度的类内相似度集合，最后从类内相似度集合中确定目标类内相似度。
具体地，可以根据以下公式对图像特征进行计算得到类内相似度：
s(Xi,Xj)＝0.7*cos(fg(Xi),fg(Xj))+0.3*cos(fs(Xi),fs(Xj))；
其中，Xi表示待检测区域，Xj表示检测区域，fg(Xi)表示第一图像特征，fs(Xi)表示第二图像特征，fg(Xj)表示第三图像特征，fs(Xj)表示第四图像特征，s(Xi,Xj)表示类内相似度。
本申请实施例中，提供了一种目标类内相似度确定的方法，通过上述方式，可以根据全局特征以及局部特征确定目标类内相似度，同种类别之间的区分信息可以提升同类特征的相似度，从而提升特征提取的准确度。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的标注信息验证的方法一个可选实施例中，从类内相似度集合中确定目标类内相似度，可以包括：
获取第一图像集合的图像个数；
根据第一图像集合的图像个数以及容错率阈值，确定目标图像个数；
若目标图像个数小于或等于图像个数阈值，则按照目标图像个数从类内相似度集合中选择目标类内相似度；
若目标图像个数大于图像个数阈值，则按照图像个数阈值从类内相似度集合中选择目标类内相似度。
本实施例中，可以先根据第一图像集合的图像个数以及容错率阈值确定目标图像个数，当目标图像个数小于或等于图像个数阈值时，则按照目标图像个数从类内相似度集合中选择目标类内相似度，当若目标图像个数大于图像个数阈值时，则按照图像个数阈值从类内相似度集合中选择目标类内相似度。
具体地，本实施例以容错率阈值为20作为示例进行说明，因此可以根据以下公式根据第一图像集合的图像个数以及容错率阈值进行计算，得到目标图像个数：
k＝min(20,T*0.02)；
其中，T表示第一图像集合的图像个数，20表示容错率阈值，k表示目标图像个数。
为了便于理解，以第一图像集合的图像个数为50作为示例进行说明，则前述公式为k＝min(20,50*0.02)，20大于10，因此根据该公式可以得到k为10，即目标图像个数为10，那么可以从类内相似度集合中选择类内相似度中第10的值为目标类内相似度。若第一图像集合的图像个数为200作为示例进行说明，则前述公式为k＝min(20,200*0.02)，20小于40(200*0.02)，因此根据该公式可以得到k为20，因此以容错率阈值为基础，从类内相似度集合中选择类内相似度中第20的值为目标类内相似度。
本申请实施例中，提供了另一种目标类内相似度确定的方法，通过上述方式，通过不同的方式选择目标类内相似度，提升本申请实施例的灵活性，其次也提升目标类内相似度确定的准确度，从而提升本申请实施例的可行性。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的标注信息验证的方法一个可选实施例中，根据待验证图像以及第二图像集合确定目标类间相似度，可以包括：
获取待验证图像所对应的待检测区域，以及第二图像集合所对应的Q个检测区域，其中，Q为大于或等于1的整数，检测区域与第二图像具有对应关系；
通过图像分类模型获取待检测区域所对应的第一图像特征以及第二图像特征，其中，第一图像特征为待检测区域的全局特征，第二图像特征为待检测区域的局部特征；
通过图像分类模型获取Q个检测区域所对应的第五图像特征集合以及第六图像特征集合，其中，第五图像特征集合包括Q个第五图像特征，第五图像特征与检测区域具有对应关系，第六图像特征集合包括Q个第六图像特征，第六图像特征与检测区域具有对应关系，第五图像特征为检测区域的全局特征，第六图像特征为检测区域的局部特征；
根据第一图像特征、第二图像特征、第四图像特征集合以及第五图像特征集合，确定类间相似度集合，其中，类间相似度集合包括至少一个类间相似度；
从类间相似度集合中确定目标类间相似度。
本实施例中，可以先待验证图像所对应的待检测区域，以及第二图像集合所对应的Q个检测区域，检测区域与第二图像具有对应关系，然后通过图像分类模型获取待检测区域所对应的全局特征(即第一图像特征)，以及待检测区域所对应的局部特征(即第二图像特征)，通过图像分类模型获取Q个检测区域所对应的全局特征合集(包括Q个第五图像特征的第五图像特征集合)，以及Q个检测区域所对应的局部特征合集(包括Q个第六图像特征的第六图像特征集合)，并且第五图像特征以及第六图像特征均与检测区域具有对应关系，由此可以根据第一图像特征、第二图像特征、第五图像特征集合以及第六图像特征集合，确定包括Q个类间相似度的类间相似度集合，最后从类间相似度集合中确定目标类间相似度。
具体地，可以根据以下公式对图像特征进行计算得到类间相似度：
s(Xi,Xa)＝0.7*cos(fg(Xi),fg(Xa))+0.3*cos(fs(Xi),fs(Xa))；
其中，Xi表示待检测区域，Xa表示检测区域，fg(Xi)表示第一图像特征，fs(Xi)表示第二图像特征，fg(Xa)表示第五图像特征，fs(Xa)表示第六图像特征，s(Xi,Xa)表示类内相似度。
本申请实施例中，提供了一种目标类间相似度确定的方法，通过上述方式，可以根据全局特征以及局部特征确定目标类间相似度，不同类别之间的区分信息可以提升保证距离的可区分性和可靠性，从而提升特征提取的可靠性。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的标注信息验证的方法一个可选实施例中，从类间相似度集合中确定目标类间相似度，可以包括：
将类间相似度集合中的类间相似度按照从大到小进行排序，得到类间相似度序列，其中，类间相似度序列包括R个类间相似度，R为大于或等于1的整数；
将类间相似度序列中的中值所对应的类间相似度确定为目标类间相似度。
本实施例中，以一个其他类的样本集合为例进行说明，将类间相似度集合中的类间相似度按照从大到小进行排序，得到包括R个类间相似度的类间相似度序列，然后将类间相似度序列中的中值所对应的类间相似度确定为目标类间相似度。具体地，中值为也称中位数，处于变类间相似度序列中间位置的类间相似度就称为中位数。
应理解，本实施例中的类间相似度这里取中值是为了提高相似度计算的稳定性，在实际应用中，类间相似度还可以但不包括取平均值、最大值以及最小值。
具体地，可以根据以下公式计算得到目标类间相似度：
Figure BDA0002309133200000171
其中，Sinter表示目标类间相似度，
Figure BDA0002309133200000172
表示类间相似度集合中最大的类间相似度，
Figure BDA0002309133200000173
表示类间相似度集合中最小的类间相似度。
为了便于理解，以R为10作为示例进行说明，从前述公式可以知道，类间相似度集合中有10个类间相似度，然后将10个类间相似度从大到小按顺序依次排列，然后对依次排列后的类间相似度序列取中值，因此目标类间相似度应该为第5个类间相似度以及第6个类间相似度的平均值。
以R为15作为示例进行说明，从前述公式可以知道，类间相似度集合中有15个类间相似度，然后将15个类间相似度从大到小按顺序依次排列，然后对依次排列后的类间相似度序列取中值，因此目标类间相似度就等于第8个类间相似度。
可以理解的是，本实施例仅以一个其他类的样本集合为例进行说明，在实际应用中，还可以有多个其他类的样本集合进行目标类间相似度的计算，在此不做限定。
本申请实施例中，提供了另一种目标类间相似度确定的方法，通过上述方式，取中值的方式提高相似度计算的稳定性，其次也提升目标类间相似度确定的稳定性，从而提升本申请实施例的可行性。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的标注信息验证的方法一个可选实施例中，根据目标类内相似度以及目标类间相似度，确定目标标注信息的验证结果，可以包括：
若目标类间相似度大于或等于目标类内相似度，则确定目标标注信息为错误标注结果；
若目标类间相似度小于目标类内相似度，则确定目标标注信息为正确标注结果。
本实施例中，可以对获取到的目标类间相似度以及目标类间相似度进行大小的判断，当目标类间相似度大于或等于目标类内相似度时，则确定目标标注信息为错误标注结果，当目标类间相似度小于目标类内相似度时，则确定目标标注信息为正确标注结果。
具体地，由于本申请实施例以余弦距离计算目标类间相似度以及目标类间相似度，而两个特征向量可以看成空间中的两条线段，都是从原点([0,0,...])出发，指向不同的方向。两条线段之间形成一个夹角，如果夹角为0度，表示方向相同、而线段重合，因此夹角为0度可以表示两个特征向量完全相等。如果夹角为90度，表示两条线段之间形成一个直角，方向完全不相同，因此夹角为90度可以表示两个特征向量无相似特征。因此，余弦距离可以通过夹角的大小，来判断特征向量的相似程度，也就是说夹角越小，就代表两个特征向量越相似。因此目标类间相似度以及目标类间相似度所对应的特征应该为，越大则特征差异性越大，越小则特征差异性越小。从而将目标类间相似度以及目标类间相似度进行对比，目标类间相似度较小并且小于目标类内相似度时，则可以确定目标标注信息正确，而目标类间相似度较大并且大于等于目标类内相似度时，则可以确定目标标注信息错误。
可以理解的是，本实施例仅以一个其他类的样本集合为例获取目标类间相似度，还可以有多个其他类的样本集合获取多个目标类间相似度，这时当目标类内相似度小于第一个目标类间相似度时，可以继续与第二个目标类间相似度进行大小对比，当目标类内相似度均大于所有样本集合对应的多个目标类间相似度进行对比时，则可以确定该验证结果为正确。
本申请实施例中，提供了一种得到验证结果的方法，通过上述方式，可以提升验证结果的准确性以及可靠性，从而提升本申请实施例的准确性以及可靠性。
为了便于理解，请参阅图7，图7为本申请实施例中标注信息验证的方法一个流程示意图，如图所示，首先获取图像，然后人工对该图像进行SKU的标注，其中SKU标注可以包括标注矩形框以及类别，标注矩形框可以框出目标区域，然后可以对目标区域进行特征提取，然后进行图像去重。在完成图像去重后，可以根据去重后的图像更新数据，然后搜索类别标注错误区域，将错误的图像从数据库去除，然后完成数据库的更新。在完成图像去重后，还可以将去重后的图像作为图像分类模型的输入，然后图像分类模型会将目标区域特征作为输出，而获取到目标区域特征之后即可以完成后续目标标注信息的验证，而获取到目标区域特征之后还可以将该特征输入需要更新的数据库，可以用于对比类别标注区域。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的标注信息验证的方法一个可选实施例中，还可以包括：
获取待添加图像集合所对应的图像特征集合，其中，待添加图像集合包括至少一个待添加图像，图像特征集合包括至少一个图像特征，图像特征与待添加图像具有对应关系；
根据图像特征集合以生成目标聚类中心集合，其中，目标聚类中心集合包括P个目标聚类中心，P为大于或等于1的整数；
根据目标聚类中心集合以及M个聚类中心集合，确定目标聚类中心集合所对应的相似聚类中心集合，其中，M为大于或等于1的整数，相似聚类中心集合属于M个聚类中心集合中的一个集合，聚类中心集合包括至少P个聚类中心；
根据相似聚类中心集合获取聚类数值；
若聚类数值大于或等于聚类阈值，则确定待添加图像集合所对应的类别与相似聚类中心集合所对应的类别为相似类别。
本实施例中，以智能货柜为示例进行说明，首先需要对补充的商品通过拍摄装置进行拍摄，然后所拍摄的图像为待添加图像。然后可以获取到包括至少一个待添加图像的待添加图像集合，待添加图像可以为接收到的图像，还可以为本身存储的图像，而每一个待添加图像与至少一个图像特征所对应，因此可以通过该待添加图像集合获取到所对应的包括至少一个图像特征的图像特征集合。
根据图像特征集合生成包括P个目标聚类中心的目标聚类中心集合，其中P为大于或等于1的整数。具体地，以智能货柜为示例进行说明，智能货柜的商品库中已有M个类别的商品图像进行各自聚类，而每个聚类可以通过k均值聚类算法(k-means clusteringalgorithm)聚类可以得到500个聚类中心，该聚类中心的集合为：
Figure BDA0002309133200000191
其中，D表示M个聚类中心集合，D1表示第一个聚类中心，DM表示第M个聚类中心。
其次，由于图像特征集合为智能货柜中所需补货商品对应图片的特征集合，因此可以对其图像特征集通过k均值聚类算法聚类得到500个聚类中心，500个聚类中心即可生成目标聚类中心集合，该目标聚类中心集合可以表示为：
Ω＝{gj，j∈{1，2，...，500}}；
其中，Ω表示目标聚类中心集合，gj表示目标聚类中心，其中j的取值为1至500的整数。
还可以根据目标聚类中心集合以及M个聚类中心集合确定目标聚类中心集合所对应的相似聚类中心集合，并且相似聚类中心集合属于M个聚类中心集合中的一个集合，聚类中心集合包括至少P个聚类中心，其中M为大于或等于1的整数。
具体地，以智能货柜为示例进行说明，当智能货柜的商品库中已有M个类别的商品图像进行各自聚类，并且获取到目标聚类中心集合时，可以对目标聚类中心集合进行循环loop，即gi∈Ω，由于进行循环loop，因此可以得到相似聚类中心集合。
再进一步地，得到相似聚类中心集合后，对于
Figure BDA0002309133200000201
可以通过下述公式获取到聚类数值：
Figure BDA0002309133200000202
其中，L表示聚类数值，gi表示目标聚类中心，
Figure BDA0002309133200000203
表示P个聚类中心中的第j个聚类，其中j的取值为1至M的整数，P的取值为1至500的整数。
在获取聚类数值后，可以将聚类数值与聚类阈值进行比较，当聚类数值大于或等于聚类阈值时，则说明该待添加图像集合所对应的类别与相似聚类中心集合所对应的类别为相似类别，当聚类数值小于聚类阈值时，则说明该待添加图像集合所对应的类别与相似聚类中心集合所对应的类别为不相似类别。
为了便于理解，请参阅图8，图8为本申请实施例中类别确定的一个流程示意图，如图所示，因此以智能货柜为示例进行说明，当需要对智能货柜进行商品补充时，需要对该商品的类别进行确定，使得商品补充到正确的货柜中。因此首先需要对补充的商品通过拍摄装置进行拍摄，并且对拍摄得到的图像进行人工标注，得到需要上新的待选库存量单位，即待添加图像，而由于智能货柜中商品不是单一类别，因此需要对需要补充的商品都进行拍摄，进行样本的收集，即获取到包括至少一个待添加图像的待添加图像集合，由于待添加图像已经经过人工标注，因此每一个待添加图像可以与至少一个图像特征所对应，从而可以通过该待添加图像集合获取到所对应的包括至少一个图像特征的图像特征集合，而在获取到图像特征集合后，需要与数据库中的所存有的图像特征进行对比，进行去重处理，去重处理与前述类似，在此不再赘述。完成去重后可以提升图像特征集合的准确度。然后即可以根据图像特征集合以生成目标聚类中心集合，并且根据目标聚类中心集合以及聚类中心集合确定目标聚类中心集合所对应的相似聚类中心集合，然后获取到聚类数值，当聚类数值大于或等于聚类阈值时，则说明相似聚类中心集合所对应的类别为该待添加图像集合所对应的类别的相似类别，由此可以在对智能货柜中的商品进行补充时排除此相似类别，以在补充智能货柜中商品时提高识别的准确度。
本申请实施例中，提供了一种类别确定的方法，通过对待添加图像合集所对应的图像特征合集生成目标聚类中心集合，再通过目标聚类中心集合确定相似聚类中心集合，并由此获取聚类数值，将聚类数值与聚类阈值进行对比，从而得到类别确定的结果，由此提升对待添加图像类别确定的准确性。
结合上述介绍，下面将对本申请中类别确定的方法进行介绍，请参阅图9，图9为本申请实施例中类别确定的方法一个实施例示意图，如图所示，本申请实施例中类别确定的方法一个实施例包括：
201、获取待添加图像集合所对应的图像特征集合，其中，待添加图像集合包括至少一个待添加图像，图像特征集合包括至少一个图像特征，图像特征与待添加图像具有对应关系；
本实施例中，以智能货柜为示例进行说明，当需要对智能货柜进行商品补充时，需要对该商品的类别进行确定，使得商品补充到正确的货柜中。因此类别确定装置可以对需要补充的商品通过拍摄装置进行拍摄，然后所拍摄的图像为待添加图像。然后类别确定装置可以获取到包括至少一个待添加图像的待添加图像集合，而每一个待添加图像与至少一个图像特征所对应，因此类别确定装置可以通过该待添加图像集合获取到所对应的包括至少一个图像特征的图像特征集合。
202、根据图像特征集合生成目标聚类中心集合，其中，目标聚类中心集合包括P个目标聚类中心，P为大于或等于1的整数；
本实施例中，类别确定装置还可以进一步地根据图像特征集合以生成包括P个目标聚类中心的目标聚类中心集合。类别确定装置可以部署于服务器，也可以部署于终端设备，此次不做限定。
具体地，以智能货柜为示例进行说明，智能货柜的商品库中已有M个类别的商品图像进行各自聚类，而每个聚类可以通过k均值聚类算法聚类可以得到500个聚类中心，该聚类中心的集合为：
Figure BDA0002309133200000211
D表示M个聚类中心集合，D1表示第一个聚类中心，DM表示第M个聚类中心。
由于图像特征集合为智能货柜中所需补货商品对应图片的特征集合，因此可以对其图像特征集通过k均值聚类算法聚类得到500个聚类中心，500个聚类中心即可生成目标聚类中心集合，该目标聚类中心集合可以表示为：
Ω＝{gj,j∈{1,2,...，500}}；
Ω表示目标聚类中心集合，gj表示目标聚类中心，其中j的取值为1至500的整数。
203、根据目标聚类中心集合以及M个聚类中心集合，确定目标聚类中心集合所对应的相似聚类中心集合，其中，M为大于或等于1的整数，相似聚类中心集合属于M个聚类中心集合中的一个集合，聚类中心集合包括至少P个聚类中心；
本实施例中，具体地，以智能货柜为示例进行说明，当智能货柜的商品库中已有M个类别的商品图像进行各自聚类，并且获取到目标聚类中心集合时，可以对目标聚类中心集合进行循环loop，即gi∈Ω，由于进行循环loop，因此可以得到相似聚类中心集合。
204、根据相似聚类中心集合获取聚类数值；
本实施例中，类别确定装置在通过步骤203得到相似聚类中心集合后，对于
Figure BDA0002309133200000212
可以通过下述公式获取到聚类数值：
Figure BDA0002309133200000213
其中，L表示聚类数值，gi表示目标聚类中心，
Figure BDA0002309133200000214
表示P个聚类中心中的第j个聚类，其中j的取值为1至M的整数，P的取值为1至500的整数。
205、若聚类数值大于或等于聚类阈值，则确定待添加图像集合所对应的类别与相似聚类中心集合所对应的类别为相似类别。
本实施例中，类别确定装置在通过步骤204获取聚类数值后，可以将聚类数值与聚类阈值进行比较，当聚类数值大于或等于聚类阈值时，则说明该待添加图像集合所对应的类别与相似聚类中心集合所对应的类别为相似类别，当聚类数值小于聚类阈值时，则说明该待添加图像集合所对应的类别与相似聚类中心集合所对应的类别为不相似类别。
为了便于理解，智能货柜为示例进行说明，在通过前述方法验证标注信息成功，以及确定类别为相似类别之后，智能货柜能对相似类别商品进行推荐，请参阅图10，图10为本申请实施例中相似类别商品推荐一个实施例示意图，如图所示，若图10中D1为注册信息验证成功的待验证图像，并且也是确认为相似类别的待添加图像，这时智能货柜可以更D1图像所携带的标注信息，对和D1图像的标注信息相似度较高的商品进行推荐，例如D1的标注信息为A牌柠檬汁，那么推荐标注信息为A牌橙汁的D2，或者标注信息为B牌柠檬汁的D3。
本申请实施例中，提供了一种类别确定的方法，通过对待添加图像合集所对应的图像特征合集生成目标聚类中心集合，再通过目标聚类中心集合确定相似聚类中心集合，并由此获取聚类数值，将聚类数值与聚类阈值进行对比，从而得到类别确定的结果，由此提升对待添加图像类别确定的准确性。
下面对本申请中的标注信息验证装置进行详细描述，请参阅图11，图11为本申请实施例中标注信息验证装置一个实施例示意图，标注信息验证装置300包括：
获取模块301，用于获取待验证图像、第一图像集合以及第二图像集合，其中，第一图像集合包括至少一个第一图像，第二图像集合包括至少一个第二图像；
确定模块301，用于根据获取模块获取的待验证图像以及第一图像集合确定目标类内相似度，其中，待验证图像对应于目标标注信息，第一图像集合中的第一图像对应于第一标注信息，目标标注信息与第一标注信息属于相同类别的标注信息；
确定模块302，还用于根据获取模块获取的待验证图像以及第二图像集合确定目标类间相似度，其中，第二图像集合中的第二图像对应于第二标注信息，第二标注信息与目标标注信息属于不同类别的标注信息；
确定模块302，还用于根据确定模块确定的目标类内相似度以及目标类间相似度，确定目标标注信息的验证结果。
可选地，在上述图11所对应的实施例的基础上，本申请实施例提供的标注信息验证装置300的另一实施例中，标注信息验证装置300还包括去重模块303；
获取模块301，还用于获取待处理图像集合，其中，待处理图像集合包括X个图像，X为大于或等于2的整数；
去重模块303，用于对获取模块获取的待处理图像集合进行去重处理，得到图像集合，其中，图像集合包括Y个图像，Y为大于或等于2，且小于或等于X的整数，图像集合包括第一图像集合以及第二图像集合。
可选地，在上述图11所对应的实施例的基础上，本申请实施例提供的标注信息验证装置300的另一实施例中，
获取模块301，具体用于从待处理图像集合中获取第一待处理图像以及第二待处理图像；
根据获取模块获取的第一待处理图像获取第一检测区域；
根据获取模块获取的第二待处理图像获取第二检测区域；
通过图像分类模型获取第一检测区域所对应的图像特征；
通过图像分类模型获取第二检测区域所对应的图像特征；
确定模块302，具体用于根据获取模块获取的第一检测区域所对应的图像特征以及获取模块获取的第二检测区域所对应的图像特征，确定第一检测区域与第二检测区域之间的第一相似度；
去重模块303，具体用于若确定模块确定的第一相似度大于或等于相似度阈值，则从待处理图像集合中去除第一待处理图像。
可选地，在上述图11所对应的实施例的基础上，本申请实施例提供的标注信息验证装置300的另一实施例中，
获取模块301，还用于若确定模块确定的第一相似度小于相似度阈值，则从待处理图像集合中获取第三待处理图像；
获取模块301，还用于根据获取模块获取的第三待处理图像获取第三检测区域；
获取模块301，还用于通过图像分类模型获取第三检测区域所对应的图像特征；
确定模块302，还用于根据获取模块获取的第一检测区域所对应的图像特征以及获取模块获取的第三检测区域所对应的图像特征，确定第一检测区域与第三检测区域之间的第二相似度；
去重模块303，还用于若确定模块确定的第二相似度大于或等于相似度阈值，则从待处理图像集合中去除第一待处理图像。
可选地，在上述图11所对应的实施例的基础上，本申请实施例提供的标注信息验证装置300的另一实施例中，标注信息验证装置300还包括增强模块304以及训练模块305；
增强模块304，用于对图像集合中的图像进行数据增强处理，得到待训练图像集合，其中，待训练图像集合包括至少一个待训练图像，待训练图像集合对应于真实标签集合，真实标签集合包括至少一个真实标签，真实标签与待训练图像具有对应关系；
获取模块301，还用于基于增强模块得到的待训练图像集合，通过待训练图像分类模型的卷积层获取第一待训练特征集合，其中，第一待训练特征集合包括至少一个第一待训练特征，且第一待训练特征与待训练图像具有对应关系；
获取模块301，还用于基于获取模块获取的第一待训练特征集合，通过待训练图像分类模型的第一全连接层获取第一预测标签集合，其中，第一预测标签集合包括至少一个第一预测标签，第一预测标签与待训练图像具有对应关系；
获取模块301，还用于基于增强模块得到的待训练图像集合，通过待训练图像分类模型的池化层获取第二待训练特征集合，其中，第二待训练特征集合包括至少一个第二待训练特征，且第二待训练特征与待训练图像具有对应关系；
获取模块301，还用于基于获取模块获取的第二待训练特征集合，通过待训练图像分类模型的第二全连接层获取第二预测标签集合，其中，第二预测标签集合包括至少一个第二预测标签，第二预测标签与待训练图像具有对应关系；
训练模块305，用于根据获取模块获取的真实标签集合、第一预测标签集合以及第二预测标签集合，对待训练图像分类模型进行训练，得到图像分类模型。
可选地，在上述图11所对应的实施例的基础上，本申请实施例提供的标注信息验证装置300的另一实施例中，
训练模块，具体用于基于真实标签集合、第一预测标签集合以及第二预测标签集合，根据目标损失函数更新待训练图像分类模型的模型参数，其中，目标损失函数包括第一损失函数以及第二损失函数，第一损失函数为根据真实标签集合以及第一预测标签集合确定的，第二损失函数为根据真实标签集合以及第二预测标签集合确定的，且第一损失函数对应于第一权重值，第二损失函数对应于第二权重值；
若目标损失函数达到收敛，则根据模型参数生成图像分类模型。
可选地，在上述图11所对应的实施例的基础上，本申请实施例提供的标注信息验证装置300的另一实施例中，
获取模块301，具体用于获取待验证图像所对应的待检测区域，以及第一图像集合所对应的T个检测区域，其中，T为大于或等于1的整数，检测区域与第一图像具有对应关系；
通过图像分类模型获取待检测区域所对应的第一图像特征以及第二图像特征，其中，第一图像特征为待检测区域的全局特征，第二图像特征为待检测区域的局部特征；
通过图像分类模型获取T个检测区域所对应的第三图像特征集合以及第四图像特征集合，其中，第三图像特征集合包括T个第三图像特征，第三图像特征与检测区域具有对应关系，第四图像特征集合包括T个第四图像特征，第四图像特征与检测区域具有对应关系，第三图像特征为检测区域的全局特征，第四图像特征为检测区域的局部特征；
确定模块302，具体用于根据获取模块获取的第一图像特征、第二图像特征、第三图像特征集合以及第四图像特征集合，确定类内相似度集合，其中，类内相似度集合包括T个类内相似度；
从确定模块确定的类内相似度集合中确定目标类内相似度。
可选地，在上述图11所对应的实施例的基础上，本申请实施例提供的标注信息验证装置300的另一实施例中，标注信息验证装置300还包括选择模块306，
获取模块301，具体用于获取第一图像集合的图像个数；
确定模块302，具体用于根据获取模块获取的第一图像集合的图像个数以及容错率阈值，确定目标图像个数；
选择模块306，用于若确定模块确定的目标图像个数小于或等于图像个数阈值，则按照目标图像个数从类内相似度集合中选择目标类内相似度；
选择模块306，还用于若确定模块确定的目标图像个数大于图像个数阈值，则按照图像个数阈值从类内相似度集合中选择目标类内相似度。
可选地，在上述图11所对应的实施例的基础上，本申请实施例提供的标注信息验证装置300的另一实施例中，
获取模块301，具体用于获取待验证图像所对应的待检测区域，以及第二图像集合所对应的Q个检测区域，其中，Q为大于或等于1的整数，检测区域与第二图像具有对应关系；
通过图像分类模型获取待检测区域所对应的第一图像特征以及第二图像特征，其中，第一图像特征为待检测区域的全局特征，第二图像特征为待检测区域的局部特征；
通过图像分类模型获取Q个检测区域所对应的第五图像特征集合以及第六图像特征集合，其中，第五图像特征集合包括Q个第五图像特征，第五图像特征与检测区域具有对应关系，第六图像特征集合包括Q个第六图像特征，第六图像特征与检测区域具有对应关系，第五图像特征为检测区域的全局特征，第六图像特征为检测区域的局部特征；
确定模块302，具体用于根据获取模块获取的第一图像特征、第二图像特征、第四图像特征集合以及第五图像特征集合，确定类间相似度集合，其中，类间相似度集合包括至少一个类间相似度；
从确定模块确定的类间相似度集合中确定目标类间相似度。
可选地，在上述图11所对应的实施例的基础上，本申请实施例提供的标注信息验证装置300的另一实施例中，
确定模块302，具体用于将类间相似度集合中的类间相似度按照从大到小进行排序，得到类间相似度序列，其中，类间相似度序列包括R个类间相似度，R为大于或等于1的整数；
将类间相似度序列中的中值所对应的类间相似度确定为目标类间相似度。
可选地，在上述图11所对应的实施例的基础上，本申请实施例提供的标注信息验证装置300的另一实施例中，
确定模块302，具体用于若目标类间相似度大于或等于目标类内相似度，则确定目标标注信息为错误标注结果；
若目标类间相似度小于目标类内相似度，则确定目标标注信息为正确标注结果。
可选地，在上述图11所对应的实施例的基础上，本申请实施例提供的标注信息验证装置300的另一实施例中，标注信息验证装置300还包括生成模块307；
获取模块301，还用于获取待添加图像集合所对应的图像特征集合，其中，待添加图像集合包括至少一个待添加图像，图像特征集合包括至少一个图像特征，图像特征与待添加图像具有对应关系；
生成模块307，用于根据获取模块获取的图像特征集合以生成目标聚类中心集合，其中，目标聚类中心集合包括P个目标聚类中心，P为大于或等于1的整数；
确定模块302，还用于根据生成模块生成的目标聚类中心集合以及M个聚类中心集合，确定目标聚类中心集合所对应的相似聚类中心集合，其中，M为大于或等于1的整数，相似聚类中心集合属于M个聚类中心集合中的一个集合，聚类中心集合包括至少P个聚类中心；
获取模块301，还用于根据确定模块确定的相似聚类中心集合获取聚类数值；
确定模块302，还用于若获取模块获取的聚类数值大于或等于聚类阈值，则确定待添加图像集合所对应的类别与相似聚类中心集合所对应的类别为相似类别。
下面对本申请中的类别确定装置进行详细描述，请参阅图12，图12为本申请实施例中类别确定装置一个实施例示意图，类别确定装置400包括：
获取模块401，用于获取待添加图像集合所对应的图像特征集合，其中，待添加图像集合包括至少一个待添加图像，图像特征集合包括至少一个图像特征，图像特征与待添加图像具有对应关系；
生成模块402，用于根据获取模块获取的图像特征集合生成目标聚类中心集合，其中，目标聚类中心集合包括P个目标聚类中心，P为大于或等于1的整数；
确定模块403，用于根据生成模块生成的目标聚类中心集合以及M个聚类中心集合，确定目标聚类中心集合所对应的相似聚类中心集合，其中，M为大于或等于1的整数，相似聚类中心集合属于M个聚类中心集合中的一个集合，聚类中心集合包括至少P个聚类中心；
获取模块401，还用于根据确定模块确定的相似聚类中心集合获取聚类数值；
确定模块403，还用于若获取模块获取的聚类数值大于或等于聚类阈值，则确定待添加图像集合所对应的类别与相似聚类中心集合所对应的类别为相似类别。
应理解，以标注信息验证装置以及类别确定装置部署于服务器为例，请参阅图13，图13为本申请实施例中服务器的一个结构示意图，该服务器500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)522(例如，一个或一个以上处理器)和存储器532，一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器522可以设置为与存储介质530通信，在服务器500上执行存储介质530中的一系列指令操作。
服务器500还可以包括一个或一个以上电源526，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口558，和/或，一个或一个以上操作系统541，例如WindowsServerTM，MacOSXTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图13所示的服务器结构。
在本申请实施例中，该服务器所包括的CPU522用于执行如图3对应的各个实施例，或者执行如图9对应的各个实施例。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (16)

1.一种标注信息验证的方法，其特征在于，包括：
获取待验证图像、第一图像集合以及第二图像集合，其中，所述第一图像集合包括至少一个第一图像，所述第二图像集合包括至少一个第二图像；
根据所述待验证图像以及所述第一图像集合确定目标类内相似度，其中，所述待验证图像对应于目标标注信息，所述第一图像集合中的第一图像对应于第一标注信息，所述目标标注信息与所述第一标注信息属于相同类别的标注信息；
根据所述待验证图像以及所述第二图像集合确定目标类间相似度，其中，所述第二图像集合中的第二图像对应于第二标注信息，所述第二标注信息与所述目标标注信息属于不同类别的标注信息；
根据所述目标类内相似度以及所述目标类间相似度，确定所述目标标注信息的验证结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取待处理图像集合，其中，所述待处理图像集合包括X个图像，所述X为大于或等于2的整数；
对所述待处理图像集合进行去重处理，得到图像集合，其中，所述图像集合包括Y个图像，所述Y为大于或等于2，且小于或等于所述X的整数，所述图像集合包括所述第一图像集合以及所述第二图像集合。
3.根据权利要求2所述的方法，其特征在于，所述对所述待处理图像集合进行去重处理，得到图像集合，包括：
从所述待处理图像集合中获取第一待处理图像以及第二待处理图像；
根据所述第一待处理图像获取第一检测区域；
根据所述第二待处理图像获取第二检测区域；
通过图像分类模型获取所述第一检测区域所对应的图像特征；
通过所述图像分类模型获取所述第二检测区域所对应的图像特征；
根据所述第一检测区域所对应的图像特征以及所述第二检测区域所对应的图像特征，确定所述第一检测区域与所述第二检测区域之间的第一相似度；
若所述第一相似度大于或等于相似度阈值，则从所述待处理图像集合中去除所述第一待处理图像。
4.根据权利要求3所述的方法，其特征在于，所述确定所述第一检测区域与所述第二检测区域之间的第一相似度之后，所述方法还包括：
若所述第一相似度小于所述相似度阈值，则从所述待处理图像集合中获取第三待处理图像；
根据所述第三待处理图像获取第三检测区域；
通过所述图像分类模型获取所述第三检测区域所对应的图像特征；
根据所述第一检测区域所对应的图像特征以及所述第三检测区域所对应的图像特征，确定所述第一检测区域与所述第三检测区域之间的第二相似度；
若所述第二相似度大于或等于相似度阈值，则从所述待处理图像集合中去除所述第一待处理图像。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
对所述图像集合中的图像进行数据增强处理，得到待训练图像集合，其中，所述待训练图像集合包括至少一个待训练图像，所述待训练图像集合对应于真实标签集合，所述真实标签集合包括至少一个真实标签，所述真实标签与所述待训练图像具有对应关系；
基于所述待训练图像集合，通过待训练图像分类模型的卷积层获取第一待训练特征集合，其中，所述第一待训练特征集合包括至少一个第一待训练特征，且所述第一待训练特征与所述待训练图像具有对应关系；
基于所述第一待训练特征集合，通过待训练图像分类模型的第一全连接层获取第一预测标签集合，其中，所述第一预测标签集合包括至少一个第一预测标签，所述第一预测标签与所述待训练图像具有对应关系；
基于所述待训练图像集合，通过所述待训练图像分类模型的池化层获取第二待训练特征集合，其中，所述第二待训练特征集合包括至少一个第二待训练特征，且所述第二待训练特征与所述待训练图像具有对应关系；
基于所述第二待训练特征集合，通过待训练图像分类模型的第二全连接层获取第二预测标签集合，其中，所述第二预测标签集合包括至少一个第二预测标签，所述第二预测标签与所述待训练图像具有对应关系；
根据所述真实标签集合、所述第一预测标签集合以及所述第二预测标签集合，对所述待训练图像分类模型进行训练，得到图像分类模型。
6.根据权利要求5所述的方法，其特征在于，所述根据所述真实标签集合、所述第一预测标签集合以及所述第二预测标签集合，对所述待训练图像分类模型进行训练，得到图像分类模型，包括：
基于所述真实标签集合、所述第一预测标签集合以及所述第二预测标签集合，根据目标损失函数更新所述待训练图像分类模型的模型参数，其中，所述目标损失函数包括第一损失函数以及第二损失函数，所述第一损失函数为根据所述真实标签集合以及所述第一预测标签集合确定的，所述第二损失函数为根据所述真实标签集合以及所述第二预测标签集合确定的，且所述第一损失函数对应于第一权重值，所述第二损失函数对应于第二权重值；
若所述目标损失函数达到收敛，则根据所述模型参数生成所述图像分类模型。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述根据所述待验证图像以及所述第一图像集合确定目标类内相似度，包括：
获取所述待验证图像所对应的待检测区域，以及所述第一图像集合所对应的T个检测区域，其中，所述T为大于或等于1的整数，所述检测区域与所述第一图像具有对应关系；
通过图像分类模型获取所述待检测区域所对应的第一图像特征以及第二图像特征，其中，所述第一图像特征为所述待检测区域的全局特征，所述第二图像特征为所述待检测区域的局部特征；
通过所述图像分类模型获取所述T个检测区域所对应的第三图像特征集合以及第四图像特征集合，其中，所述第三图像特征集合包括T个第三图像特征，所述第三图像特征与所述检测区域具有对应关系，所述第四图像特征集合包括T个第四图像特征，所述第四图像特征与所述检测区域具有对应关系，所述第三图像特征为所述检测区域的全局特征，所述第四图像特征为所述检测区域的局部特征；
根据所述第一图像特征、所述第二图像特征、所述第三图像特征集合以及所述第四图像特征集合，确定类内相似度集合，其中，所述类内相似度集合包括T个类内相似度；
从所述类内相似度集合中确定所述目标类内相似度。
8.根据权利要求7所述的方法，其特征在于，所述从所述类内相似度集合中确定所述目标类内相似度，包括：
获取所述第一图像集合的图像个数；
根据所述第一图像集合的图像个数以及容错率阈值，确定目标图像个数；
若所述目标图像个数小于或等于图像个数阈值，则按照所述目标图像个数从所述类内相似度集合中选择所述目标类内相似度；
若所述目标图像个数大于所述图像个数阈值，则按照所述图像个数阈值从所述类内相似度集合中选择所述目标类内相似度。
9.根据权利要求1至6中任一项所述的方法，其特征在于，所述根据所述待验证图像以及所述第二图像集合确定目标类间相似度，包括：
获取所述待验证图像所对应的待检测区域，以及所述第二图像集合所对应的Q个检测区域，其中，所述Q为大于或等于1的整数，所述检测区域与所述第二图像具有对应关系；
通过图像分类模型获取所述待检测区域所对应的第一图像特征以及第二图像特征，其中，所述第一图像特征为所述待检测区域的全局特征，所述第二图像特征为所述待检测区域的局部特征；
通过所述图像分类模型获取所述Q个检测区域所对应的第五图像特征集合以及第六图像特征集合，其中，所述第五图像特征集合包括Q个第五图像特征，所述第五图像特征与所述检测区域具有对应关系，所述第六图像特征集合包括Q个第六图像特征，所述第六图像特征与所述检测区域具有对应关系，所述第五图像特征为所述检测区域的全局特征，所述第六图像特征为所述检测区域的局部特征；
根据所述第一图像特征、所述第二图像特征、所述第五图像特征集合以及所述第六图像特征集合，确定类间相似度集合，其中，所述类间相似度集合包括至少一个类间相似度；
从所述类间相似度集合中确定所述目标类间相似度。
10.根据权利要求9所述的方法，其特征在于，所述从所述类间相似度集合中确定所述目标类间相似度，包括：
将所述类间相似度集合中的类间相似度按照从大到小进行排序，得到类间相似度序列，其中，所述类间相似度序列包括R个类间相似度，所述R为大于或等于1的整数；
将所述类间相似度序列中的中值所对应的类间相似度确定为所述目标类间相似度。
11.根据权利要求1至6中任一项所述的方法，其特征在于，所述根据所述目标类内相似度以及所述目标类间相似度，确定所述目标标注信息的验证结果，包括：
若所述目标类间相似度大于或等于所述目标类内相似度，则确定所述目标标注信息为错误标注结果；
若所述目标类间相似度小于所述目标类内相似度，则确定所述目标标注信息为正确标注结果。
12.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取待添加图像集合所对应的图像特征集合，其中，所述待添加图像集合包括至少一个待添加图像，所述图像特征集合包括至少一个图像特征，所述图像特征与所述待添加图像具有对应关系；
根据所述图像特征集合以生成目标聚类中心集合，其中，所述目标聚类中心集合包括P个目标聚类中心，所述P为大于或等于1的整数；
根据所述目标聚类中心集合以及M个聚类中心集合，确定所述目标聚类中心集合所对应的相似聚类中心集合，其中，所述M为大于或等于1的整数，所述相似聚类中心集合属于所述M个聚类中心集合中的一个集合，所述聚类中心集合包括至少P个聚类中心；
根据所述相似聚类中心集合获取聚类数值；
若所述聚类数值大于或等于聚类阈值，则确定所述待添加图像集合所对应的类别与所述相似聚类中心集合所对应的类别为相似类别。
13.一种类别确定的方法，其特征在于，包括：
获取待添加图像集合所对应的图像特征集合，其中，所述待添加图像集合包括至少一个待添加图像，所述图像特征集合包括至少一个图像特征，所述图像特征与所述待添加图像具有对应关系；
根据所述图像特征集合生成目标聚类中心集合，其中，所述目标聚类中心集合包括P个目标聚类中心，所述P为大于或等于1的整数；
根据所述目标聚类中心集合以及M个聚类中心集合，确定所述目标聚类中心集合所对应的相似聚类中心集合，其中，所述M为大于或等于1的整数，所述相似聚类中心集合属于所述M个聚类中心集合中的一个集合，所述聚类中心集合包括至少P个聚类中心；
根据所述相似聚类中心集合获取聚类数值；
若所述聚类数值大于或等于聚类阈值，则确定所述待添加图像集合所对应的类别与所述相似聚类中心集合所对应的类别为相似类别。
14.一种标注信息验证装置，其特征在于，包括：
获取模块，用于获取待验证图像、第一图像集合以及第二图像集合，其中，所述第一图像集合包括至少一个第一图像，所述第二图像集合包括至少一个第二图像；
确定模块，用于根据所述获取模块获取的所述待验证图像以及所述第一图像集合确定目标类内相似度，其中，所述待验证图像对应于目标标注信息，所述第一图像集合中的第一图像对应于第一标注信息，所述目标标注信息与所述第一标注信息属于相同类别的标注信息；
所述确定模块，还用于根据所述获取模块获取的所述待验证图像以及所述第二图像集合确定目标类间相似度，其中，所述第二图像集合中的第二图像对应于第二标注信息，所述第二标注信息与所述目标标注信息属于不同类别的标注信息；
所述确定模块，还用于根据所述确定模块确定的所述目标类内相似度以及所述目标类间相似度，确定所述目标标注信息的验证结果。
15.一种服务器，其特征在于，所述服务器包括至少一个处理器，存储器和接口电路，所述存储器和所述至少一个处理器通过线路互联，所述至少一个存储器中存储有指令；
所述指令被所述处理器执行，以执行如权利要求1至12中任一所述标注信息验证的方法，或，执行如权利要求13所述类别确定的方法。
16.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如上述权利要求1至12中任一项所述标注信息验证的方法，或，执行如上述权利要求13所述类别确定的方法。
CN201911256582.9A 2019-12-09 2019-12-09 一种标注信息验证的方法、类别确定的方法及装置 Active CN111061890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911256582.9A CN111061890B (zh) 2019-12-09 2019-12-09 一种标注信息验证的方法、类别确定的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911256582.9A CN111061890B (zh) 2019-12-09 2019-12-09 一种标注信息验证的方法、类别确定的方法及装置

Publications (2)

Publication Number Publication Date
CN111061890A CN111061890A (zh) 2020-04-24
CN111061890B true CN111061890B (zh) 2023-04-07

Family

ID=70300258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911256582.9A Active CN111061890B (zh) 2019-12-09 2019-12-09 一种标注信息验证的方法、类别确定的方法及装置

Country Status (1)

Country Link
CN (1) CN111061890B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554146A (zh) * 2020-04-26 2021-10-26 华为技术有限公司 一种校验标注数据的方法、模型训练的方法及装置
CN111582404B (zh) * 2020-05-25 2024-03-26 腾讯科技（深圳）有限公司 内容分类方法、装置及可读存储介质
CN111860588A (zh) * 2020-06-12 2020-10-30 华为技术有限公司 一种用于图神经网络的训练方法以及相关设备
CN112115996A (zh) * 2020-09-11 2020-12-22 北京达佳互联信息技术有限公司 图像数据的处理方法、装置、设备及存储介质
CN112183484B (zh) * 2020-10-30 2023-08-29 北京百度网讯科技有限公司 一种图像处理方法、装置、设备以及存储介质
CN113780042A (zh) * 2020-11-09 2021-12-10 北京沃东天骏信息技术有限公司 图片集操作方法、图片集标注方法和装置
CN112381782B (zh) * 2020-11-11 2022-09-09 腾讯科技（深圳）有限公司 人脸图像质量评估方法、装置、计算机设备及存储介质
CN112329428A (zh) * 2020-11-30 2021-02-05 北京天润融通科技股份有限公司 文本相似度最佳阈值自动寻找及优化方法及装置
CN112836732B (zh) * 2021-01-25 2024-04-19 深圳市声扬科技有限公司 数据标注的校验方法、装置、电子设备及存储介质
CN112508132B (zh) * 2021-01-29 2021-08-03 广州市玄武无线科技股份有限公司 一种识别sku的训练方法及装置
TWI801251B (zh) * 2022-05-30 2023-05-01 華碩電腦股份有限公司 智慧補貨監控系統及其方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1770638A2 (en) * 2005-09-30 2007-04-04 FUJIFILM Corporation Displaying images according to an image evaluation value
CN102222239A (zh) * 2011-06-03 2011-10-19 哈尔滨工程大学 基于视觉和标注字相关信息的标注图像场景聚类方法
CA2850457A1 (en) * 2011-08-26 2013-03-07 EBM Corporation Blood-vessel bloodstream simulation system, method therefor, and computer software program
CN103345645A (zh) * 2013-06-27 2013-10-09 复旦大学 面向网购平台的商品图像类别预测方法
WO2015070678A1 (zh) * 2013-11-15 2015-05-21 北京奇虎科技有限公司 一种图像识别方法、挖掘图像主体信息方法及装置
CN104778475A (zh) * 2015-03-30 2015-07-15 南京邮电大学 一种基于环形区域最大频繁视觉单词的图像分类方法
CN105205501A (zh) * 2015-10-04 2015-12-30 北京航空航天大学 一种多分类器联合的弱标注图像对象检测方法
CN105261017A (zh) * 2015-10-14 2016-01-20 长春工业大学 基于路面约束的图像分割法提取行人感兴趣区域的方法
CN105468781A (zh) * 2015-12-21 2016-04-06 小米科技有限责任公司 视频查询方法和装置
JP2016103084A (ja) * 2014-11-27 2016-06-02 株式会社 日立産業制御ソリューションズ 画像検索装置、及び画像検索システム
CN108154518A (zh) * 2017-12-11 2018-06-12 广州华多网络科技有限公司 一种图像处理的方法、装置、存储介质及电子设备
CN108268526A (zh) * 2016-12-30 2018-07-10 中国移动通信集团北京有限公司 一种数据分类方法和装置
CN109284670A (zh) * 2018-08-01 2019-01-29 清华大学 一种基于多尺度注意力机制的行人检测方法及装置
CN109919251A (zh) * 2019-03-21 2019-06-21 腾讯科技（深圳）有限公司 一种基于图像的目标检测方法、模型训练的方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1770638A2 (en) * 2005-09-30 2007-04-04 FUJIFILM Corporation Displaying images according to an image evaluation value
CN102222239A (zh) * 2011-06-03 2011-10-19 哈尔滨工程大学 基于视觉和标注字相关信息的标注图像场景聚类方法
CA2850457A1 (en) * 2011-08-26 2013-03-07 EBM Corporation Blood-vessel bloodstream simulation system, method therefor, and computer software program
CN103345645A (zh) * 2013-06-27 2013-10-09 复旦大学 面向网购平台的商品图像类别预测方法
WO2015070678A1 (zh) * 2013-11-15 2015-05-21 北京奇虎科技有限公司 一种图像识别方法、挖掘图像主体信息方法及装置
JP2016103084A (ja) * 2014-11-27 2016-06-02 株式会社 日立産業制御ソリューションズ 画像検索装置、及び画像検索システム
CN104778475A (zh) * 2015-03-30 2015-07-15 南京邮电大学 一种基于环形区域最大频繁视觉单词的图像分类方法
CN105205501A (zh) * 2015-10-04 2015-12-30 北京航空航天大学 一种多分类器联合的弱标注图像对象检测方法
CN105261017A (zh) * 2015-10-14 2016-01-20 长春工业大学 基于路面约束的图像分割法提取行人感兴趣区域的方法
CN105468781A (zh) * 2015-12-21 2016-04-06 小米科技有限责任公司 视频查询方法和装置
CN108268526A (zh) * 2016-12-30 2018-07-10 中国移动通信集团北京有限公司 一种数据分类方法和装置
CN108154518A (zh) * 2017-12-11 2018-06-12 广州华多网络科技有限公司 一种图像处理的方法、装置、存储介质及电子设备
CN109284670A (zh) * 2018-08-01 2019-01-29 清华大学 一种基于多尺度注意力机制的行人检测方法及装置
CN109919251A (zh) * 2019-03-21 2019-06-21 腾讯科技（深圳）有限公司 一种基于图像的目标检测方法、模型训练的方法及装置

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
Hayashi N 等.Constructing an automatic object-recognition algorithm using labeling information for efficient recycling of WEEE.《Waste Management》.2019,337-346. *
Junmei Zhong 等.Image denoising based on wavelets and multifractals for singularity detection.《in IEEE Transactions on Image Processing》.2005,第14卷(第10期),1435-1447. *
R. Huang 等.Unconstrained face verification assisted by pairwise visual pre-estimation on key facial points.《2014 9th IEEE Conference on Industrial Electronics and Applications》.2014,1835-1840. *
X. Lang 等.An image classification method based on a SK sub-vector multi-hierarchy clustering algorithm.《Second International Multi-Symposiums on Computer and Computational Sciences 》.2007,182-186. *
刘璐 等.采用流形近邻传播聚类的极化SAR图像分类.《信号处理》.2016,第32卷(第2期),135-141. *
张素智 等. 基于类内和类间距离的粗粒度并行AP 聚类算法.《华中师范大学学报(自然科学版)》.2018,第52卷(第6期),781-787+797. *
徐杰.基于超图融合语义信息的图像场景分类方法.《中国优秀硕士学位论文全文数据库信息科技辑》.2014,(第（2014）6期),I138-1069. *
王娜娜 等.提取目标区域词袋特征的图像分类方法.《计算机工程与应用》.2018,第54卷(第20期),208-212+218. *

Also Published As

Publication number Publication date
CN111061890A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN111061890B (zh) 一种标注信息验证的方法、类别确定的方法及装置
Wei et al. Deep learning for retail product recognition: Challenges and techniques
CN108491799B (zh) 一种基于图像识别的智能售货柜商品管理方法及系统
Santra et al. A comprehensive survey on computer vision based approaches for automatic identification of products in retail store
EP3910608B1 (en) Article identification method and system, and electronic device
US9141886B2 (en) Method for the automated extraction of a planogram from images of shelving
CN108389316B (zh) 自动售货方法、装置和计算机可读存储介质
US9177225B1 (en) Interactive content generation
EP2585979B1 (en) Method and system for fast and robust identification of specific products in images
CN108416902B (zh) 基于差异识别的实时物体识别方法和装置
US20110286628A1 (en) Systems and methods for object recognition using a large database
Geng et al. Fine-grained grocery product recognition by one-shot learning
Jang et al. Car-Rec: A real time car recognition system
Tonioni et al. Product recognition in store shelves as a sub-graph isomorphism problem
Marder et al. Using image analytics to monitor retail store shelves
CN103927387A (zh) 图像检索系统及其相关方法和装置
US11475500B2 (en) Device and method for item recommendation based on visual elements
CN104281572B (zh) 一种基于互信息的目标匹配方法及其系统
CN106557728B (zh) 查询图像处理和图像检索方法和装置以及监视系统
Lepsøy et al. Statistical modelling of outliers for fast visual search
CN109977824B (zh) 物品取放识别方法、装置及设备
Saqlain et al. Hybrid approach for shelf monitoring and planogram compliance (hyb-smpc) in retails using deep learning and computer vision
Achakir et al. An automated AI-based solution for out-of-stock detection in retail environments
CN116071569A (zh) 图像选择方法、计算机设备及存储装置
CN115661624A (zh) 一种货架的数字化方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022126

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant