CN114140696A - 商品识别系统优化方法、装置、设备及存储介质 - Google Patents

Abstract

本发明提供一种商品识别系统优化方法、装置、设备及存储介质，该方法包括：对商品图片进行特征提取，得到第一特征向量，并基于商品识别系统中预设的特征库以及商品识别模型，分别对第一特征向量对应的商品类别进行识别，得到第一识别结果和第二识别结果；接收反馈信息，根据第一识别结果、第二识别结果和反馈信息对第一识别结果进行评分，并根据评分分数以及反馈信息对特征库、商品识别模型进行更新，对特征库以及商品识别模型进行自主增量学习以优化商品识别系统。本发明使得商品识别系统无感学习、全自动化升级迭代，进而提高了商品识别系统通过特征库以及商品识别模型进行商品类别识别的识别准确度和可靠性。

Description

商品识别系统优化方法、装置、设备及存储介质

技术领域

本发明涉及系统优化领域，尤其涉及一种商品识别系统优化方法、装置、设备及存储介质。

背景技术

随着科技与经济的发展，电子商务兴起，零售业逐渐趋向智能化。而在零售业的智能化发展过程中，商品的识别是重要的一个环节，由于商品种类繁多，同种类的商品形态不一致，人力识别的速度和准确度较低，所以需要构建商品识别系统自动化进行商品识别。

由于商品种类较多，且同种商品具有不同的形态，导致识别数据不断增加，需要不断迭代更新商品识别系统；但现有技术中的商品识别系统无法快速迭代，通常需要补充采集数据重新训练该商品识别系统，训练周期长，开销花费大，需要不停地手动迭代系统，导致商品识别系统优化速度慢、优化成本较高。

发明内容

有鉴于此，本发明的目的是为了克服现有技术中的不足，提供一种商品识别系统优化方法、装置、设备及存储介质。

第一方面，本发明提供一种商品识别系统优化方法，包括：

获取商品图片，并对所述商品图片进行特征提取，得到第一特征向量；

基于所述商品识别系统中预设的特征库，对所述第一特征向量进行商品类别的识别，得到第一识别结果；

调用所述商品识别系统中预置商品识别模型识别所述第一特征向量对应的商品类别，生成第二识别结果；

根据所述第一识别结果和所述第二识别结果，生成推送结果，并接收反馈信息；

基于所述推送结果与所述反馈信息，对所述第一识别结果进行评分，得到评分分数；

根据所述评分分数以及所述反馈信息对所述特征库进行更新，得到更新后的特征库；

基于所述更新后的特征库，对所述商品识别模型进行深度学习，得到优化后的商品识别模型；

基于所述更新后的特征库和所述优化后的商品识别模型，对所述商品识别系统进行优化。

在一种实施方式中，所述基于所述商品识别系统中预设的特征库，对所述第一特征向量进行商品类别的识别，得到第一识别结果包括：

提取所述商品识别系统预置特征库中的第二特征向量；

计算所述第一特征向量与所述第二特征向量的第一特征相似度；

根据所述第一特征相似度，确定与所述第一特征向量对应的第一商品类别以及各所述第一商品类别的类别相似度；

将所述第一商品类别按照所述类别相似度进行排序，生成第一识别结果。

在一种实施方式中，所述调用所述商品识别系统中预置商品识别模型识别所述第一特征向量对应的商品类别，生成第二识别结果包括：

将所述第一特征向量输入至所述商品识别系统中预置商品识别模型的分类器中，输出第二商品类别以及与所述第二商品类别对应的相似概率值；

将所述第二商品类别按照所述相似概率值进行排序，生成第二识别结果。

在一种实施方式中，所述基于所述推送结果与所述反馈信息，对所述第一识别结果进行评分，得到评分分数包括：

当所述推送结果中包含所述第一识别结果时，判断所述第一识别结果中的第一商品类别是否包含所述反馈信息中对应的第三商品类别；

若是，则对所述第一识别结果中的第二特征向量进行正向评分，得到正向的评分分数；

若否，则对所述第一识别结果中的第二特征向量进行负向评分，得到负向的评分分数。

在一种实施方式中，所述根据所述评分分数以及所述反馈信息对所述特征库进行更新，得到更新后的特征库包括：

筛选并删除特征库中所述评分分数低于预设第一分数阈值的所述第二特征向量；

当所述反馈信息为录入或删除所述第二特征向量时，则在所述特征库中录入或删除对应的所述第二特征向量，以对所述特征库进行更新，得到更新后的特征库。

在一种实施方式中，所述基于所述更新后的特征库，对所述商品识别模型进行深度学习，得到优化后的商品识别模型包括：

记录所述更新后的特征库中各所述第一商品类别被生成所述推送结果的次数以及评分分数；

当所述第一商品类别被生成所述推送结果的次数不小于预设次数阈值，且所述评分分数大于预设第二分数阈值时，提取与所述第一商品类别对应的商品图片；

将所述商品图片录入至所述商品识别模型中进行深度学习，得到优化后的商品识别模型。

在一种实施方式中，在所述基于所述商品识别系统中预设的特征库，对所述第一特征向量进行商品类别的识别，得到第一识别结果之前，还包括：

统计每次基于所述商品识别系统中预设的特征库，对所述第一特征向量进行商品类别的识别时所需的历史识别时间，当所述历史识别时间大于预设时间阈值时，则判断所述特征库中的商品类别总数是否小于预设类别阈值；

若是，则采用预定的第一识别策略，并基于所述商品识别系统中预设的特征库，对所述第一特征向量进行商品类别的识别，生成第二识别结果，其中，所述第一识别策略为粗匹配与精匹配相结合的识别策略；

若否，则采用预定的第二识别策略，并基于所述商品识别系统中预设的特征库，对所述第一特征向量进行商品类别的识别，生成第二识别结果。

第二方面，本发明提供一种商品识别系统优化装置，包括：

获取模块，用于获取商品图片，并对所述商品图片进行特征提取，得到第一特征向量；

第一识别模块，用于基于所述商品识别系统中预设的特征库，对所述第一特征向量进行商品类别的识别，得到第一识别结果；

第二识别模块，用于调用所述商品识别系统中预置商品识别模型识别所述第一特征向量对应的商品类别，生成第二识别结果；

反馈模块，用于根据所述第一识别结果和所述第二识别结果，生成推送结果，并接收反馈信息；

评分模块，用于基于所述推送结果与所述反馈信息，对所述第一识别结果进行评分，得到评分分数；

更新模块，用于根据所述评分分数以及所述反馈信息对所述特征库进行更新，得到更新后的特征库；

第一优化模块，用于基于所述更新后的特征库，对所述商品识别模型进行深度学习，得到优化后的商品识别模型；

第二优化模块，用于基于所述更新后的特征库和所述优化后的商品识别模型，对所述商品识别系统进行优化。

第三方面，本发明提供一种商品识别系统优化设备，所述商品识别系统优化设备包括存储器和至少一个处理器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施上述的商品识别系统优化方法。

第四方面，本发明提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被执行时，实施上述的商品识别系统优化方法。

本发明的实施例具有如下优点：

本发明通过对商品图片进行特征提取，得到第一特征向量，并基于商品识别系统中预设的特征库以及预置商品识别模型，分别对第一特征向量对应的商品类别进行识别，得到第一识别结果和第二识别结果；接收反馈信息，根据第一识别结果、第二识别结果和反馈信息对第一识别结果进行评分，并根据评分分数以及反馈信息对特征库进行更新，并基于更新的特征库对商品识别模型进行优化，得到优化后的商品识别模型；基于更新后的特征库和优化后的商品识别模型，对商品识别系统进行优化。本发明的技术方案能够对特征库进行更新，以及对商品识别模型自动化进行深度学习，从而使得商品识别系统无感学习、全自动化升级迭代；且特征库的更新以及商品识别模型的优化可以提高第一识别结果以及第二识别结果的准确度，进而提高了商品识别系统通过特征库以及商品识别模型进行商品类别识别的识别准确度和可靠性，提高用户的用户体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例中商品识别系统优化方法的一个实施方式示意图；

图2为本发明实施例中商品识别系统优化方法的另一个实施方式示意图；

图3为本发明实施例中商品识别系统优化装置的一个实施例示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。相反，当元件被称作“直接在”另一元件“上”时，不存在中间元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在模板的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。本文所使用的术语“及/ 或”包括一个或多个相关的所列项目的任意的和所有的组合。

实施例1

请参照图1，本发明提出一种商品识别系统优化方法，本发明实施例的商品识别系统优化方法可以是由商品识别系统优化设备实现的，该商品识别系统优化设备的物理实现可以是客户端、服务器等；为描述方便，该设备以服务器为例进行说明，下面对该商品识别系统优化方法进行详细说明。

101，获取商品图片，并对商品图片进行特征提取，得到第一特征向量；

采集超市各种零售商品的不同姿态、不同光照、不同角度、不同数量的图片，服务器将采集的商品图片进行数据清洗、数据增强、数据标注等预处理操作，并根据采集的商品图片进行深度学习，训练得到商品识别模型，其中，数据清洗、数据增强、数据标注等处理为现有技术，可选用现有技术中常用的处理方式进行相应处理，如数据增强处理可选用随机旋转、高斯噪声等处理方式，故在此不做赘述。

服务器将训练好的商品识别模型设置在移动设备终端的商品识别系统的识别模块内，商品识别系统的图像获取模块获取用户拍摄的商品图片，并将商品图片输入至识别模块内，商品识别系统的识别模块调用商品识别模型对商品图片中的各商品进行特征提取，得到商品图片对应的特征向量。具体地，将商品图片输入至商品识别模型的特征提取器中，特征提取器对商品图片进行特征提取，得到商品图片对应的特征向量，将此步骤中得到的与商品图片对应的特征向量作为第一特征向量。

102，基于商品识别系统中预设的特征库，对第一特征向量进行商品类别的识别，得到第一识别结果；

该商品识别系统的识别模块内预置有一个特征库，该特征库包含了各种商品的商品图片、商品类别以及与该商品类别对应的所有特征向量，将该特征库中所包含的特征向量作为第二特征向量，其中，一个第二特征向量对应一个商品类别，一个商品类别可对应多个第二特征向量，一个第二特征向量对应一张商品图片。

商品识别系统中的识别模块提取特征库中的第二特征向量，并根据第二特征向量，对第一特征向量进行商品类别的识别，得到第一识别结果，在此过程中，提取特征库中第二特征向量的提取方式为逐一提取或依次提取一定数量的第二特征向量，提取方式与提取数量在此不做限定，可根据实际情况进行设定。

进一步地，计算第一特征向量与各第二特征向量的第一特征相似度；根据第一特征相似度，确定与第一特征向量对应的第一商品类别以及各第一商品类别的类别相似度；将第一商品类别按照类别相似度进行排序，生成第一识别结果。在此过程中，将第一特征相似度与预设的相似度阈值进行比较，假设在进行特征相似度计算时，其计算的第一特征相似度不小于相似度阈值对应的第二特征向量为T，当第一特征相似度不小于该相似度阈值时，说明该第一特征向量与第二特征向量T极其相似，则将第二特征向量T对应的第一商品类别作为第一特征向量的商品类别，从而确定了第一特征向量对应的第一商品类别；根据各第一特征相似度，将对应的各第一商品类别按照对应的第一特征相似度由大到小进行排序，并将排序后所得到的第一商品类别序列作为第一识别结果，其中，第一识别结果包括至少一个第一商品类别，另外，第一特征相似度越大，则说明第一特征向量隶属于对应的第一商品类别的概率越大。

103，调用商品识别系统中预置商品识别模型识别第一特征向量对应的商品类别，生成第二识别结果；

商品识别系统的识别模块中还设置有商品识别模型，调用该商品识别模型的分类器可识别出第一特征向量对应的商品类别。

进一步地，将第一特征向量输入至商品识别模型中，商品识别模型中的分类器对第一特征向量进行商品类别的识别，输出第二商品类别以及与该第二商品类别对应的相似概率值，将第二商品类别按照对应的相似概率值进行排序，从而生成第二识别结果。

104，根据第一识别结果和第二识别结果，生成推送结果，并接收反馈信息；

105，基于推送结果与反馈信息，对第一识别结果进行评分，得到评分分数；

106，根据评分分数以及反馈信息对特征库进行更新，得到更新后的特征库；

107，基于更新后的特征库，对商品识别模型进行深度学习，得到优化后的商品识别模型；

108，基于更新后的特征库和优化后的商品识别模型，对商品识别系统进行优化。

识别模块分别提取第一识别结果以及第二识别结果中排序为topN的第一商品类别以及第二商品类别，并将第一商品类别以及第二商品类别按照对应的特征相似度由大到小进行排序，形成商品类别集，其中，N为正整数，N的具体取值在此不做限定，可根据实际情况进行限定；将商品类别集作为推送结果并进行推送，其中，识别模块将推送结果发送至反馈模块以及修正模块，推送结果中各商品类别的推送顺序对应于与各商品类别的特征相似度数值的大小；反馈模块接收反馈信息。

示范性地，从第一商品类别序列以及第二商品类别序列中分别提取出排序位置在topN内且类别相似度或相似概率值大于预设阈值的第一商品类别以及第二商品类别，即提取出排序靠前的商品类别，将这些商品类别进行综合，去除重复的商品类别，生成推送结果，将该推送结果推送至商品识别系统的反馈模块，在该反馈模块内对推送结果进行显示，用户对显示的推送结果中所包含的商品类别进行点选或录入其他商品类别进行反馈，即用户可对推送结果中的各商品类别进行选择或录入其他商品类别，确认所拍摄的商品图片对应的商品类别，生成反馈信息，并将该反馈信息传送至商品识别系统的反馈模块。其中，第一识别结果和第二识别结果可能同时以推送结果的形式进行输出，也可能单独以推送结果的形式进行输出；当第一识别结果中对应的类别相似度大于预设的一个很高的阈值A时，此时认为第一识别结果非常可信，则只根据第一识别结果生成推送结果进行输出；当第一识别结果中对应的类别相似度小于预设的一个较高的阈值B时，此时认为第一识别结果不可信，则只根据第二识别结果生成推送结果进行输出；当第一识别结果的相似度小于阈值A但大于阈值B，则认为第一识别结果可信度不高不低，将第一识别结果和第二识别结果进行结合生成推送结果并输出。

进一步地，反馈模块主要用于接收反馈信息，该反馈信息包括用户主动反馈的反馈信息以及基于推送结果进行反馈的反馈信息，当用户在用户主动反馈的反馈信息中删除或录入某个商品类别的信息时，需要将该反馈信息发送给识别模块，识别模块根据该反馈信息对特征库进行更新，即删除或录入该对应商品类别的特征向量。

当推送结果包括第一识别结果以及第二识别结果时，用户在基于推送结果进行反馈的反馈信息中点选确认了推送结果中第二识别结果中的商品类别或录入了其他商品类别时，在特征库中查找与该反馈信息对应的第三商品类别，若特征库中不包含该第三商品类别，则特征库自动录入该商品类别、商品图片以及第一特征向量，实现对特征库的更新，并对第一识别结果进行负向评分；如果特征库包含该第三商品类别，则会将特征库中所包含的第三商品类别的所有特征向量和第一特征向量进行匹配，如果匹配得到的特征相似度值不小于预设的一个较低阈值C，则在特征库中录入该第一特征向量以及第一特征向量对应的商品图片，对特征库进行更新，并对第一识别结果进行负向评分；若特征相似度值小于该阈值C，则说明第一特征向量与特征库中对应的第三商品类别的所有特征向量都不相似（即特征相似度值小于阈值C），但是该第三商品类别又被用户所确认反馈，则提示客户确认是否点选错误或录入错误，生成再次反馈信息。若在再次反馈信息中用户确认第三商品类别无误，则在特征库中录入该第一特征向量以及第一特征向量对应的商品图片，对特征库进行更新，并对第一识别结果进行负向评分。

当推送结果不包括第一识别结果时，在特征库中查找与该反馈信息对应的第三商品类别，若特征库中不包含该第三商品类别，则自动录入该商品类别、商品图片以及第一特征向量；如果特征库包含该第三商品类别，则会将特征库中所包含的第三商品类别的所有特征向量和第一特征向量进行匹配，如果匹配得到的特征相似度值不小于预设的一个较低阈值C，则在特征库中录入该第一特征向量以及第一特征向量对应的商品图片；若特征相似度值小于该阈值C，则说明第一特征向量与特征库中对应的第三商品类别的所有特征向量都不相似（即特征相似度值小于阈值C），但是该第三商品类别又被用户所确认反馈，则提示客户确认是否点选错误或录入错误，生成再次反馈信息。若再次反馈信息中用户确认第三商品类别无误，则录入该特征第一特征向量以及第一特征向量对应的商品图片。

当推送结果包含第一识别结果，且第一识别结果中包含有反馈信息对应的商品类别时，则对第一识别结果对应的第二特征向量进行评分；例如，推送结果包括第一识别结果中的C1、C2、C3三个商品类别，且在得到第一识别结果的过程中，进行特征相似度计算时，在C1、C2、C3三个商品类别内选用进行特征相似度计算且计算的第一特征相似度不小于相似度阈值的第二特征向量分别对应为T1、T2、T3，用户点选确认了C1这个商品类别，则对C1对应的第二特征向量T1进行正向评分，对C2以及C3对应的第二特征向量T2、T3进行负向评分，具体的评分分数数值的确定，可根据实际情况进行设定，在此不做具体限定。

对特征库中的特征向量进行聚类、排序，筛选出评分分数低于预设的一个较低的第一分数阈值的特征向量并进行删除，实现对特征库的更新，得到更新后的特征库；由上所述，特征库的更新包括筛选并删除特征库中评分分数低于预设第一分数阈值的第二特征向量；以及当反馈信息为录入或删除第二特征向量时，则在特征库中录入或删除对应的第二特征向量，以对特征库进行更新，得到更新后的特征库；其中，当反馈信息为录入或删除第二特征向量时的情况包括根据用户主动反馈的反馈信息为录入或删除第二特征向量时，以及对基于推送结果进行反馈的反馈信息的判定，选择录入或删除第二特征向量。移动设备终端预先设置有特定算法，该特定算法记录更新后的特征库中各第一商品类别被生成推送结果的次数以及评分分数；当第一商品类别被生成推送结果的次数不小于预设次数阈值，且评分分数高于预设的一个较高的第二分数阈值时，提取对应的第一商品类别的商品图片；移动设备终端将该商品图片发送至服务器，由服务器将该商品图片录入至商品识别模型中进行无感的深度学习，得到优化后的商品识别模型，服务器再将优化后的商品识别模型下发至移动设备终端，在此商品识别模型的优化过程中，商品识别模型根据商品图片进行全自动的无感学习，不需要用户进行干预，减少了人力物力成本，提高了优化效率。

服务器根据更新后的特征库以及优化后的商品识别模型进行全自动的无感学习，优化商品识别系统；后续在基于更新后的特征库以及优化后的商品识别模型进行商品类别的识别时，所得到的第一识别结果以及第二识别结果的准确度更高，且具有较强的可靠性；从而提高了商品识别系统通过特征库以及商品识别模型进行商品类别识别的识别准确度和可靠性，提高用户的用户体验。

示范性地，在服务器上训练一个商品识别模型，将商品识别模型部署在识别模块中，识别模块接收图像获取模块的商品图片并进行识别，将识别结果发送给修正模块和反馈模块，反馈模块将识别结果推送出去，由用户进行确认；修正模块自身对特征向量进行排序、聚类等操作，并对商品图片进行分析，如果检测到反馈结果有问题（即如上述的对应的特征相似度值小于阈值C，但是该商品类别又被用户所确认反馈），则反馈给反馈模块，由反馈模块提示用户。如果反馈模块的结果无问题，则由修正模块基于识别模块接输出结果进行判决，判决是否要录入特征向量或者是否要删除特征向量，或者对特征向量进行评分，将结果反馈给识别模块进行商品识别模型自主学习。同时，在联网的情况下，移动设备终端将对应的商品图片以及特征向量发送至服务器，由服务器自动进行增量学习，优化商品识别模型，再将优化好的商品识别模型下发给移动设备终端，以优化商品识别系统。

修正模块有两部分组成，反馈部分和决策部分，决策部分接收反馈模块的结果和识别模块的结果，决策部分通过特征分析部分根据已有的类别信息和特征向量，对特征向量进行排序、聚类，用来判定反馈模块的结果是否有问题，其中，对特征向量进行排序、聚类后，可减少识别商品图片对应的商品类别时的识别时间。如果检测到反馈信息有问题，则通过反馈部分告知反馈模块，由反馈模块提示用户进行再次确认。如果此时决策部分检测到反馈结果无问题，则将结果反馈给特征评分部分，特征评分部分的工作流程为：对所获取的商品图片，已经由识别模块传输至决策部分，如果判决需要进行当次的特征向量录入，则反馈给识别模块进行特征向量录入。如果识别模块的结果包含有已经存储的特征向量，则对这些特征向量进行评分，评分的依据是综合反馈模块和特征分析的结果。最终评分部分将评分的结果反馈给识别结果，为下一次识别提供依据，或者，如果有特征向量累计评分分数过低，达到某个阈值，则进行特征向量的删除。

在一种可行的实施方式中，请参照图2，下面对该商品识别系统优化方法的另一种实施方式进行详细说明。

201，获取商品图片，并对商品图片进行特征提取，得到第一特征向量；

202，统计每次基于商品识别系统中预设的特征库，对第一特征向量进行商品类别的识别时所需的历史识别时间，当历史识别时间大于预设时间阈值时，则判断特征库中的商品类别总数是否小于预设类别阈值；

203，若特征库中的商品类别总数小于预设类别阈值，则采用预定的第一识别策略，并基于特征库，对第一特征向量进行商品类别的识别，生成第一识别结果；

由于特征库的不断优化，录入的商品类别总数与特征向量越来越多，在调用该特征库进行识别时，识别的时间越来越长，可以对特征库的识别策略进行调整，即在调用该特征库进行识别之前，由服务器统计每次特征库进行识别的历史识别时间，当历史识别时间大于预设的识别时间阈值时，在下一次调用该特征库进行识别之前，先判断该特征库中录入的商品类别总数P是否大于预设的类别阈值N。当P小于阈值N时，采用粗匹配与精匹配相结合的识别策略。例如，假设每个商品类别含有大概A个特征向量，根据每个商品类别的少量特征向量对第一特征向量进行比对（例如A/B，从A个特征向量中选取B个特征向量，B小于A）对第一特征向量进行一一比对，从而在B个特征向量中筛选出特征相似度值较大的特征向量以及与该特征向量对应的M个类别，即根据B个特征向量与第一特征向量的比对结果，从P个商品类别中筛选出M个商品类别（M不小于2，M小于P），然后基于这P/M个商品类别，对第一特征向量进行全部特征向量的一一比对，从而识别得到第一识别结果。

204，若特征库中的商品类别总数不小于预设类别阈值，则采用预定的第二识别策略，并基于特征库。对第一特征向量进行商品类别的识别，生成第一识别结果；

当P不小于N时，根据服务器所记录的特征库在单位时间段内最常被调用识别的K个商品类别，然后基于这K个商品类别，采取精匹配的识别策略或者采用粗匹配与精匹配相结合的识别策略，基于特征库对第一特征向量进行商品类别的识别，得到第一识别结果。

205，调用商品识别系统中预置商品识别模型识别第一特征向量对应的商品类别，生成第二识别结果；

206，根据第一识别结果和第二识别结果，生成推送结果，并接收反馈信息；

207，基于推送结果与反馈信息，对第一识别结果进行评分，得到评分分数；

208，根据评分分数以及反馈信息对特征库进行更新，得到更新后的特征库；

209，基于更新后的特征库，对商品识别模型进行深度学习，得到优化后的商品识别模型；

210，基于更新后的特征库和优化后的商品识别模型，对商品识别系统进行优化。

在本发明实施例中，移动设备终端的商品识别系统中的识别模块在自主学习的同时，进行单次识别耗时统计（如上述的统计每次基于商品识别系统中预设的特征库，对第一特征向量进行商品类别的识别时所需的历史识别时间），如果耗时高于门限，则进行自动省时处理，即调整识别策略，需注意，此处自动省时处理，可能会对精度略微造成一点下降。识别模块由特征管理部分、模型解析部分、特征匹配部分、综合输出部分组成。特征管理部分接收图像获取模块的图片，根据反馈模块或者修正模块的输出（直接接收反馈模块输出表示人为进行特征向量管理）进行相应操作，如特征向量录入、特征删向量除等，同时，特征管理部分还将保存的特征向量和商品图片上传至服务器，由服务器对多个移动设备终端进行特征管理，将管理后的特征向量下发至特征管理部分。特征匹配部分提取特征管理部分所录入的特征向量，进行匹配（特征库对特征向量进行商品类别的识别），如果特征向量匹配时间（历史识别时间）超过阈值，自动采用省时匹配（如上述的第一识别策略以及第二识别策略），否则采用常规匹配（全部特征向量的精匹配）。模型解析部分接收图像获取模块获取的图片，进行推理（商品识别模型对特征向量进行商品类别的识别）。模型解析部分和特征匹配部分所得到的结果，一同发送给综合输出部分，由综合输出部分进行综合，最终输出给修正模块（根据第一识别结果和第二识别结果，生成推送结果，并将推送结果发送给修正模块）。同时，服务器也会定期下发自动更新的商品识别模型至模型解析部分。

在本发明实施例中，根据特征库的优化，统计每次特征库进行识别的历史识别时间，当历史识别时间大于预设的识别时间阈值时，在下一次调用该特征库进行识别之前，自动调整识别策略，节省识别时间，进而减少了服务器根据特征库对商品识别模型以及商品识别系统进行自主增量学习的时间，提高了优化效率。

在该实施方式中，步骤201、205-210与上述的商品识别系统优化方法的第一个实施方式的步骤101、103-108一致，在此不再赘述。

本发明实施例的技术方案通过对商品图片进行特征提取，得到第一特征向量，并基于商品识别系统中预设的特征库以及预置商品识别模型，分别对第一特征向量对应的商品类别进行识别，得到第一识别结果和第二识别结果；接收反馈信息，根据第一识别结果、第二识别结果和反馈信息对第一识别结果进行评分，并根据评分分数以及反馈信息对特征库进行更新，并基于更新的特征库对商品识别模型进行优化，得到优化后的商品识别模型；基于更新后的特征库和优化后的商品识别模型，对商品识别系统进行优化。本发明的技术方案能够对特征库进行更新，以及对商品识别模型自动化进行深度学习，从而使得商品识别系统无感学习、全自动化升级迭代；且特征库的更新以及商品识别模型的优化可以提高第一识别结果以及第二识别结果的准确度，进而提高了商品识别系统通过特征库以及商品识别模型进行商品类别识别的识别准确度和可靠性，提高用户的用户体验。

实施例2

请参照图3，本发明实施例提出一种商品识别系统优化装置300，该装置包括：

获取模块301，用于获取商品图片，并对所述商品图片进行特征提取，得到第一特征向量；

第一识别模块302，用于所述商品识别系统中基于预设的特征库，对所述第一特征向量进行商品类别的识别，得到第一识别结果；

第二识别模块303，用于调用所述商品识别系统中预置商品识别模型识别所述第一特征向量对应的商品类别，生成第二识别结果；

反馈模块304，用于根据所述第一识别结果和所述第二识别结果，生成推送结果，并接收反馈信息；

评分模块305，用于基于所述推送结果与所述反馈信息，对所述第一识别结果进行评分，得到评分分数；

更新模块306，用于根据所述评分分数以及所述反馈信息对所述特征库进行更新，得到更新后的特征库；

第一优化模块307，用于基于所述更新后的特征库，对所述商品识别模型进行深度学习，得到优化后的商品识别模型；

第二优化模块308，用于基于所述更新后的特征库和所述优化后的商品识别模型，对所述商品识别系统进行优化。

可以理解，本实施例的各模块对应于上述实施例1的各步骤，上述实施例1中的任意可选项同样适用于本实施例，故在此不再详述。

本发明实施例还提供了一种商品识别系统优化设备，该商品识别系统优化设备包括存储器和至少一个处理器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施上述实施例的商品识别系统优化方法。

存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据商品识别系统优化设备的使用所创建的数据（比如评分分数、特征向量等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述实施例的商品识别系统优化方法的步骤。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是智能手机、个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施方式的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述实施方式仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种商品识别系统优化方法，其特征在于，包括：

获取商品图片，并对所述商品图片进行特征提取，得到第一特征向量；

基于所述商品识别系统中预设的特征库，对所述第一特征向量进行商品类别的识别，得到第一识别结果；

调用所述商品识别系统中预置商品识别模型识别所述第一特征向量对应的商品类别，生成第二识别结果；

根据所述第一识别结果和所述第二识别结果，生成推送结果，并接收反馈信息；

基于所述推送结果与所述反馈信息，对所述第一识别结果进行评分，得到评分分数；

根据所述评分分数以及所述反馈信息对所述特征库进行更新，得到更新后的特征库；

基于所述更新后的特征库，对所述商品识别模型进行深度学习，得到优化后的商品识别模型；

基于所述更新后的特征库和所述优化后的商品识别模型，对所述商品识别系统进行优化。

2.根据权利要求1所述的商品识别系统优化方法，其特征在于，所述基于所述商品识别系统中预设的特征库，对所述第一特征向量进行商品类别的识别，得到第一识别结果包括：

提取所述商品识别系统预置特征库中的第二特征向量；

计算所述第一特征向量与所述第二特征向量的第一特征相似度；

根据所述第一特征相似度，确定与所述第一特征向量对应的第一商品类别以及各所述第一商品类别的类别相似度；

将所述第一商品类别按照所述类别相似度进行排序，生成第一识别结果。

3.根据权利要求2所述的商品识别系统优化方法，其特征在于，所述调用所述商品识别系统中预置商品识别模型识别所述第一特征向量对应的商品类别，生成第二识别结果包括：

将所述第一特征向量输入至所述商品识别系统中预置商品识别模型的分类器中，输出第二商品类别以及与所述第二商品类别对应的相似概率值；

将所述第二商品类别按照所述相似概率值进行排序，生成第二识别结果。

4.根据权利要求3所述的商品识别系统优化方法，其特征在于，所述基于所述推送结果与所述反馈信息，对所述第一识别结果进行评分，得到评分分数包括：

当所述推送结果中包含所述第一识别结果时，判断所述第一识别结果中的第一商品类别是否包含所述反馈信息中对应的第三商品类别；

若是，则对所述第一识别结果中的第二特征向量进行正向评分，得到正向的评分分数；

若否，则对所述第一识别结果中的第二特征向量进行负向评分，得到负向的评分分数。

5.根据权利要求4所述的商品识别系统优化方法，其特征在于，所述根据所述评分分数以及所述反馈信息对所述特征库进行更新，得到更新后的特征库包括：

筛选并删除特征库中所述评分分数低于预设第一分数阈值的所述第二特征向量；

当所述反馈信息为录入或删除所述第二特征向量时，则在所述特征库中录入或删除对应的所述第二特征向量，以对所述特征库进行更新，得到更新后的特征库。

6.根据权利要求5所述的商品识别系统优化方法，其特征在于，所述基于所述更新后的特征库，对所述商品识别模型进行深度学习，得到优化后的商品识别模型包括：

记录所述更新后的特征库中各所述第一商品类别被生成所述推送结果的次数以及评分分数；

当所述第一商品类别被生成所述推送结果的次数不小于预设次数阈值，且所述评分分数大于预设第二分数阈值时，提取与所述第一商品类别对应的商品图片；

将所述商品图片录入至所述商品识别模型中进行深度学习，得到优化后的商品识别模型。

7.根据权利要求1所述的商品识别系统优化方法，其特征在于，在所述基于所述商品识别系统中预设的特征库，对所述第一特征向量进行商品类别的识别，得到第一识别结果之前，还包括：

统计每次基于所述商品识别系统中预设的特征库，对所述第一特征向量进行商品类别的识别时所需的历史识别时间，当所述历史识别时间大于预设时间阈值时，则判断所述特征库中的商品类别总数是否小于预设类别阈值；

若是，则采用预定的第一识别策略，并基于所述特征库，对所述第一特征向量进行商品类别的识别，生成第二识别结果，其中，所述第一识别策略为粗匹配与精匹配相结合的识别策略；

若否，则采用预定的第二识别策略，并基于所述特征库，对所述第一特征向量进行商品类别的识别，生成第二识别结果。

8.一种商品识别系统优化装置，其特征在于，包括：

获取模块，用于获取商品图片，并对所述商品图片进行特征提取，得到第一特征向量；

第一识别模块，用于基于所述商品识别系统中预设的特征库，对所述第一特征向量进行商品类别的识别，得到第一识别结果；

第二识别模块，用于调用所述商品识别系统中预置商品识别模型识别所述第一特征向量对应的商品类别，生成第二识别结果；

反馈模块，用于根据所述第一识别结果和所述第二识别结果，生成推送结果，并接收反馈信息；

评分模块，用于基于所述推送结果与所述反馈信息，对所述第一识别结果进行评分，得到评分分数；

更新模块，用于根据所述评分分数以及所述反馈信息对所述特征库进行更新，得到更新后的特征库；

第一优化模块，用于基于所述更新后的特征库，对所述商品识别模型进行深度学习，得到优化后的商品识别模型；

第二优化模块，用于基于所述更新后的特征库和所述优化后的商品识别模型，对所述商品识别系统进行优化。

9.一种商品识别系统优化设备，其特征在于，所述商品识别系统优化设备包括存储器和至少一个处理器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施权利要求1-7中任一项所述的商品识别系统优化方法。

10.一种计算机存储介质，其特征在于，其存储有计算机程序，所述计算机程序被执行时，实施根据权利要求1-7中任一项所述的商品识别系统优化方法。

Images