CN111738245A

CN111738245A - 商品识别管理方法、装置、服务器及可读存储介质

Info

Publication number: CN111738245A
Application number: CN202010874612.9A
Authority: CN
Inventors: 秦永强; 敖川
Original assignee: Alnnovation Beijing Technology Co ltd
Current assignee: Alnnovation Beijing Technology Co ltd
Priority date: 2020-08-27
Filing date: 2020-08-27
Publication date: 2020-10-02
Anticipated expiration: 2040-08-27
Also published as: CN111738245B

Abstract

本申请提供一种商品识别管理方法、装置、服务器及可读存储介质。方法包括：将获取的第一图像输入经过训练的深度学习检测模型，得到第一图像的检测结果，包括目标商品的商品类别及位置信息；将第一图像及检测结果输入经过训练的细分类模型；通过特征提取器对第一图像及检测结果进行特征提取，得到目标语义特征；通过卷积神经网络对目标语义特征进行卷积处理，并将卷积处理后的目标语义特征输入分类器，得到分类器输出的第一图像的识别结果，识别结果包括目标商品的商品类别及型号信息，能够提高对商品的类别、型号识别的准确性及可靠性，提高对商品识别的精度。

Description

商品识别管理方法、装置、服务器及可读存储介质

技术领域

本发明涉及计算机图像处理技术领域，具体而言，涉及一种商品识别管理方法、装置、服务器及可读存储介质。

背景技术

随着人工智能技术的发展，在利用图像对商品分类识别的过程中，目前可以基于商品包装上的明显区别，比如商品之间形状结构的区别、包装图案区别、图案颜色区别等明显的区别特征进行识别检测。若商品在包装上，不具有明显可区分的特征，目前的图像识别手段便无法准确对商品类别、型号进行识别。

发明内容

本申请提供一种商品识别管理方法、装置、服务器及可读存储介质，能够改善对商品类别、型号识别的准确性低的问题。

为了实现上述目的，本申请实施例所提供的技术方案如下所示：

第一方面，本申请实施例提供一种商品识别管理方法，所述方法包括：

将获取的第一图像输入经过训练的深度学习检测模型，得到对所述第一图像的检测结果，所述检测结果包括所述第一图像中的目标商品的商品类别及位置信息，所述第一图像为拍摄位于货架上的商品得到的图像；

将所述第一图像及所述检测结果输入经过训练的细分类模型，所述细分类模型包括特征提取器、卷积神经网络及分类器；

通过所述特征提取器对所述第一图像及所述检测结果进行特征提取，得到目标语义特征，所述目标语义特征包括表征所述目标商品与所述第一图像中的其他商品之间相对尺寸关系的高阶语义特征，所述其他商品包括所述第一图像中与所述目标商品位置相邻的商品；

通过所述卷积神经网络对所述目标语义特征进行卷积处理，并将卷积处理后的目标语义特征输入所述分类器，得到所述分类器输出的所述第一图像的识别结果，所述识别结果包括所述目标商品的商品类别及型号信息。

在上述的实施方式中，通过深度学习检测模型对商品进行初步分类，然后利用细分类模型结合商品之间的位置尺寸关系，对商品的型号进行进一步识别分类，从而有利于提高对商品的类别、型号识别的准确性及可靠性，提高对商品识别的精度。

结合第一方面，在一些可选的实施方式中，所述特征提取器包括第一子模型和第二子模型，通过所述特征提取器对所述第一图像及所述检测结果进行特征提取，得到目标语义特征，包括：

从所述第一图像中提取所述目标商品的尺寸信息，以及所述目标商品与相邻商品的相对尺寸关系；

将所述尺寸信息、所述相对尺寸关系及所述检测结果输入所述第一子模型，得到所述第一子模型输出的第一高阶语义特征，所述第一子模型包括全连接神经网络；

将所述第一图像及所述检测结果输入所述第二子模型，得到所述第二子模型输出的第二高阶语义特征，所述第二子模型包括卷积神经网络；

将所述第一高阶语义特征、所述第二高阶语义特征进行拼接，得到所述目标语义特征。

在上述的实施方式中，通过第一子模型、第二子模型分别提取第一图像中商品的高阶语义特征，然后对高阶语义特征进行拼接，从而有利于提高目标语义特征的准确性及有效性，以便于在利用目标语义特征识别商品的型号时，提高识别的准确性及可靠性。

结合第一方面，在一些可选的实施方式中，将所述第一图像及所述检测结果输入所述第二子模型，得到所述第二子模型输出的第二高阶语义特征，包括：

基于与所述目标商品的商品类别对应的裁剪策略，从所述第一图像中裁剪包括相同的所述商品类别的商品的目标图区；

将所述目标图区及所述检测结果输入所述第二子模型，得到所述第二子模型输出的第二高阶语义特征。

在上述的实施方式中，通过对第一图像进行裁剪，有利于降低第二子模型识别检测的图像面积，从而有利于降低第二子模型的运算量。

结合第一方面，在一些可选的实施方式中，将获取的第一图像输入经过训练的深度学习检测模型，得到对所述第一图像的检测结果，包括：

将获取的第一图像输入经过训练的深度学习检测模型进行检测；

将商品类别相同且商品尺寸不同的商品确定为所述目标商品，得到所述深度学习检测模型输出的对所述第一图像的检测结果。

在上述的实施方式中，通过将商品类别相同，尺寸不同的商品归类为目标商品，有利于针对目标商品进行精细化的识别检测，以得到各个商品的类别及型号。

结合第一方面，在一些可选的实施方式中，所述方法还包括：

建立所述目标商品的商品类别、所述型号信息及所述目标商品在所述第一图像中的位置的对应关系。

在上述的实施方式中，通过上述的对应关系，有利于用户基于对应关系查看各个商品的类别及型号等信息。

结合第一方面，在一些可选的实施方式中，在将所述第一图像及所述检测结果输入经过训练的细分类模型之前，所述方法还包括：

获取训练图像集，包括多个第二图像，所述第二图像为拍摄位于货架上的商品得到的图像，每个所述第二图像包括表征所述第二图像中的商品的商品类别的标签、型号信息的标签；

通过所述训练图像集训练细分类模型，得到经过训练的细分类模型。

在上述的实施方式中，通过对细分类模型进行学习训练，使得细分类模型可以具备识别商品型号的精细化识别能力，以提高对商品识别的准确性及可靠性。

第二方面，本申请实施例还提供一种商品识别管理装置，所述装置包括：

类别检测单元，用于将获取的第一图像输入经过训练的深度学习检测模型，得到对所述第一图像的检测结果，所述检测结果包括所述第一图像中的目标商品的商品类别及位置信息，所述第一图像为拍摄位于货架上的商品得到的图像；

图像输入单元，用于将所述第一图像及所述检测结果输入经过训练的细分类模型，所述细分类模型包括特征提取器、卷积神经网络及分类器；

尺寸关系检测单元，用于通过所述特征提取器对所述第一图像及所述检测结果进行特征提取，得到目标语义特征，所述目标语义特征包括表征所述目标商品与所述第一图像中的其他商品之间相对尺寸关系的高阶语义特征，所述其他商品包括所述第一图像中与所述目标商品位置相邻的商品；

分类处理单元，用于通过所述卷积神经网络对所述目标语义特征进行卷积处理，并将卷积处理后的目标语义特征输入所述分类器，得到所述分类器输出的所述第一图像的识别结果，所述识别结果包括所述目标商品的商品类别及型号信息。

结合第二方面，在一些可选的实施方式中，所述特征提取器包括第一子模型和第二子模型，所述尺寸关系检测单元还用于：

第三方面，本申请实施例还提供一种服务器，所述服务器包括相互耦合的存储器、处理器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述服务器上述的方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的服务器、用户终端的通信连接示意图。

图2为本申请实施例提供的服务器的方框示意图。

图3为本申请实施例提供的商品识别管理方法的流程示意图。

图4为本申请实施例提供的第一图像的示意图。

图5为本申请实施例提供的商品识别管理装置的功能框图。

图标：10-服务器；11-处理模块；12-存储模块；13-通信模块；20-用户终端；100-商品识别管理装置；110-类别检测单元；120-图像输入单元；130-尺寸关系检测单元；140-分类处理单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。需要说明的是，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

申请人发现，在图像识别领域中，在商品精细化识别分类的过程中，若商品之间在包装上不具有明显可区分特征，商品之间的型号、规格不同，目前图像识别处理手段通常无法精细化对商品的型号、规格进行识别。例如，同一品牌，同一系列的罐装奶粉，若仅存在奶粉重量不同的区别，在包装的图案及颜色上均相同，现有的图像识别方式便无法准确对奶粉型号进行区分识别。

鉴于上述问题，本申请申请人经过长期研究探索，提出以下实施例以解决上述问题。下面结合附图，对本申请实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，本申请实施例提供的服务器10可以通过网络与用户终端20建立通信连接，以进行数据交互。例如，用户终端20可以向服务器10发送需要进行商品识别分类处理的图像。其中，与服务器10通信连接的用户终端20的数量可以根据实际情况进行确定，可以为一个或多个，这里不做具体限定。

请参照图2，在本实施例中，服务器10可以包括处理模块11、存储模块12及通信模块13。存储模块12中存储有计算机程序，当计算机程序被处理模块11执行时，可以使得服务器10执行下述的商品识别管理方法中的各步骤。即，服务器10可以对图像中的商品进行分类识别，以得到商品的种类、商品名称、型号等商品信息。

处理模块11、存储模块12、通信模块13以及商品识别管理装置100各个元件之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

可以理解的是，图2所示的结构仅为服务器10的一种结构示意图，服务器10还可以包括比图2所示更多的组件。图2中所示的各组件可以采用硬件、软件或其组合实现。

在本实施例中，用户终端20可以是，但不限于，智能手机、个人电脑（PersonalComputer，PC）、平板电脑、个人数字助理（Personal Digital Assistant，PDA）、移动上网设备（Mobile Internet Device，MID）等。网络可以是，但不限于，有线网络或无线网络。

请参照图3，本申请实施例还提供一种商品识别管理方法，可以应用于上述的服务器10中，由服务器10执行或实现方法中的各步骤。方法可以包括步骤S210至步骤S240，如下：

步骤S210，将获取的第一图像输入经过训练的深度学习检测模型，得到对所述第一图像的检测结果，所述检测结果包括所述第一图像中的目标商品的商品类别及位置信息，所述第一图像为拍摄位于货架上的商品得到的图像；

步骤S220，将所述第一图像及所述检测结果输入经过训练的细分类模型，所述细分类模型包括特征提取器、卷积神经网络及分类器；

步骤S230，通过所述特征提取器对所述第一图像及所述检测结果进行特征提取，得到目标语义特征，所述目标语义特征包括表征所述目标商品与所述第一图像中的其他商品之间相对尺寸关系的高阶语义特征，所述其他商品包括所述第一图像中与所述目标商品位置相邻的商品；

步骤S240，通过所述卷积神经网络对所述目标语义特征进行卷积处理，并将卷积处理后的目标语义特征输入所述分类器，得到所述分类器输出的所述第一图像的识别结果，所述识别结果包括所述目标商品的商品类别及型号信息。

可理解地，通过深度学习检测模型对商品进行初步分类，然后利用细分类模型结合商品之间的位置尺寸关系，对商品的型号进行进一步识别分类，从而有利于提高对商品的类别、型号识别的准确性及可靠性，提高对商品识别的精度。

下面将对方法中的各步骤进行详细阐述，如下：

在步骤S210中，服务器10可以从用户终端20获取到第一图像，或者用户可以通过用户终端20将第一图像发送至服务器10，以使服务器10获取到第一图像。第一图像可理解为当前需要进行商品识别检测的图像。用户终端20可以为具有拍摄图像功能的设备，例如，用户终端20可以为智能手机。用户可以利用智能手机将拍摄的图像，通过智能手机中相应的应用程序发送至服务器10。其中，智能手机中用于发送图像的应用程序可以根据实际情况进行设置，这里不再赘述。

在本实施例中，用户终端20可以在拍摄得到第一图像后，立即将第一图像发送至服务器10，或者，用户终端20在第一图像的数量达到指定数量后，自动将所存储的所有第一图像发送至服务器10。可理解地，向服务器10发送第一图像的方式可以根据实际情况进行设置，这里不作具体限定。

服务器10在获取到第一图像后，可以将第一图像输入经过训练的深度学习检测模型，然后由深度学习检测模型对第一图像进行识别检测，得到对第一图像的检测结果。检测结果可以包括但不限于第一图像中目标商品的商品类别、目标商品的位置信息、目标商品的商品名称等。例如，目标商品可以通过最小矩形框的方式在第一图像中进行标注，以表示目标商品在第一图像中的位置。最小矩形框可理解为目标商品边缘轮廓的最小边界矩形。其中，目标商品可以为第一图像中任一商品，或者目标商品为第一图像中的各个商品，或者目标商品为用户在第一图像中设置的指定图区（指定图区可以根据实际情况进行设置）中的商品，或者目标商品为需要进行型号识别的商品，比如需要识别不同容量/重量的相同种类的罐装奶粉即为目标商品，这里对目标商品不做具体限定。

可理解地，经过训练的深度学习检测模型可以对商品进行简单的分类，可以对存在明显区别特征的商品进行检测分类。其中，明显区别特征包括但不限于商品之间的形状结构存在明显区别、商品之间包装的图案存在明显区别、图案颜色存在明显区别等。深度学习检测模型通常无法对无明显区别特征的多个商品进行细分类，例如，对应同一品牌，同一系列的商品，在商品包装、颜色上相同，区别仅在于商品尺寸、商品的重量、容量不同时，该深度学习检测模型便无法对商品的容量、重量类别进行检测。

需要说明的是，深度学习检测模型可以是但不限于卷积神经网络（ConvolutionalNeural Networks，CNN）、循环神经网络（Recurrent Neural Network，RNN）等，可以根据实际情况进行选择。另外，对深度学习检测模型进行训练，以使深度学习检测模型具备对商品的类别进行识别能力的方式为本领域技术人员所熟知，这里不再赘述。

在步骤S210中，服务器10在得到同类别的商品后，可以基于同类别商品在图像中的位置，通过后续步骤S220至步骤S240，对商品进行细分类。

作为一种可选的实施方式，步骤S210可以包括：将获取的第一图像输入经过训练的深度学习检测模型进行检测；将商品类别相同且商品尺寸不同的商品确定为所述目标商品，得到所述深度学习检测模型输出的对所述第一图像的检测结果。

可理解地，同类商品通常存在不同的型号/规格，型号/规格可理解为商品的尺寸、容量、重量等。例如，对于相同品牌相同名称的奶粉，存在不同容量/重量的奶粉商品。比如，存在300克包装的奶粉商品与500克包装的奶粉商品，对于这类相同类别但型号不同的商品，便需要通过细分类模型进行细分类，这类商品在包装的图案及颜色上通常无明显差别，在包装的尺寸上可能存在区别。因此，可以将商品尺寸不同的同类别的商品作为目标商品，以便于进行细分类。同类别的目标商品可以通过矩形框进行选中，以便于标记目标商品在第一图像中的相对位置。

在步骤S220中，服务器10可以将完成商品类别识别的第一图像输入至细分类模型。细分类模型由特征提取器、卷积神经网络及分类器等多个模型/网络组合得到。细分类模型基于目标商品在图像中与其他商品之间的尺寸关系，对目标商品的型号进行细分类的识别。

在步骤S230中，特征提取器可以为一个模型，也可以为两个或多个子模型组成。例如，当特征提取器为一个模型时，可以结合第一图像及检测结果，从第一图像中提取目标商品与第一图像中的其他商品之间相对尺寸关系。特征提取器可以是但不限于全连接神经网络。

特征提取器针对目标商品提取得到的尺寸关系包括但不限于：目标商品的宽度、高度、宽高比，目标商品的宽度与第一图像的宽度比、目标商品的高度与第一图像图像的高度比，目标商品的宽度与相邻商品的宽度比，目标商品的高度与相邻商品的高度比、目标商品的宽度与第一图像中与目标商品类别相同的商品的平均宽度比、目标商品的高度与第一图像中与目标商品类别相同的商品的平均高度比等尺寸特征。其中，相邻商品可以是与目标商品左、右、上、下相邻的商品。或者，若目标商品在九宫格中的中心位，相邻商品可以是九宫格中环绕中心位的8个邻居商品。

在得到与目标商品对应的尺寸特征后，特征提取器可以结合检测结果将目标商品的宽度、高度、宽高比等尺寸特征用向量的方式进行表示，得到特征向量，然后，特征提取器对特征向量进行处理，从而得到高阶的语义特征，即为目标语义特征。例如，可以将8*1的特征向量经过卷积神经网络处理得到32*1的高阶语义特征。其中，通过特征提取器对特征向量进行卷积神经网络处理，以得到高阶的语义特征的过程为本领域技术人员所熟知，这里不再赘述。

在步骤S240中，分类器可以为softmax函数，可以具备对卷积处理后的目标语义特征实现商品型号识别分类的功能。服务器10在得到目标语义特征后，可以将目标语义特征输入至卷积神经网络，由卷积神经网络对目标语义特征进行卷积处理，以便于分类器对经过卷积处理后的目标语义特征进行分类识别，从而得到商品的型号信息。商品的型号信息包括但不限于商品的容量、重量等规格。该卷积神经网络可以是但不限于浅层卷积神经网络，全连接神经网络等。

请参照图4，假设第一图像如图4所示，A、B、C均表示同品牌同名称的奶粉商品，其中，商品A、商品B的型号相同，比如为500克重量的奶粉，商品C的型号与商品A、B不同，比如为300克重量的奶粉，商品A、B、C在外包装上，图案的颜色及内容相同，区别在于标记重量部分的内容不同。当第一图像输入至服务器10时，服务器10便可以将商品A、B、C作为目标商品，然后得到商品A、B、C的商品名称、商品种类及重量型号等商品信息，实现商品的精细化识别。

作为一种可选的实施方式，特征提取器包括第一子模型、第二子模型，步骤S230可以包括：

在本实施例中，第一子模型可以为全连接神经网络，第二子模型可以为卷积神经网络，例如，可以为ResNet、Mobilnet等神经网络的特征提取部分。通常而言，在不损失性能的情况，可以采用运行时间较低的结构，比如第二子模型为Mobilnet。其中，第一子模型提取高阶语义特征的过程可以参照对上述步骤S230的详细描述。

第二子模型提取高阶语义特征的方式可以为：基于与所述目标商品的商品类别对应的裁剪策略，从所述第一图像中裁剪包括相同的所述商品类别的商品的目标图区；将所述目标图区及所述检测结果输入所述第二子模型，得到所述第二子模型输出的第二高阶语义特征。

可理解地，服务器10可以根据先验信息，得到与商品类别对应的裁剪策略。先验信息可理解为预先了解目标商品中特定图区在目标商品图区（可理解为框柱目标商品图区的最小矩形框的图区）上的大致位置，特定图区通常为目标商品中便于进行特征识别的图区，可以根据实际情况进行确定。例如，特定图区在目标商品图区的左侧、右侧、上侧或下侧。若特定图区在目标商品图区的下侧的20%的图区，裁剪策略即为裁剪出目标商品图区的上部分80%图区，保留目标商品图区的下部分20%图区，然后通过第二子模型结合检测结果对下部分20%图区进行处理，得到高阶的语义特征。例如，通过Mobilnet对20%图区进行卷积处理，然后得到高阶的语义特征，即为第二高阶语义特征。

在得到第一高阶语义特征及第二高阶语义特征后，服务器10可以按照空间方向将第一高阶语义特征、第二高阶语义特征进行拼接，得到目标语义特征。基于此，有利于提高目标语义特征的准确性及有效性，以便于在利用目标语义特征识别商品的型号时，提高识别的准确性及可靠性。

作为一种可选的实施方式，方法还可以包括：建立所述目标商品的商品类别、所述型号信息及所述目标商品在所述第一图像中的位置的对应关系。

可理解地，服务器10在得到目标商品的商品类别、型号信息及商品在第一图像中的位置后，可以建立商品类别、型号信息及商品在第一图像中的位置的对应关系。基于此，当用户在第一图像中指定相应的商品时，服务器10可以基于指定商品在第一图像中的位置，确定所指定商品的商品类别、型号信息等数据，方便用户灵活查看商品的相关数据。

作为一种可选的实施方式，在步骤S230之前，方法还可以包括对细分类模型进行训练的步骤，例如，方法还可以包括：

可理解地，在训练细分类模型的过程中，包括对特征提取器、卷积神经网络的训练。特征提取器的训练方式与对FasterRCNN的训练方式相似，为本领域技术人员所熟知，这里不再赘述。在对卷积神经网络进行训练时，卷积神经网络的输入数据为特征提取器输出的语义特征，然后由卷积神经网络根据语义特征及标签等信息进行训练，执行过程可以参见对步骤S230的描述。在商品类别及型号的识别过程中，通过将特征提取器与卷积神经网络串行连接起来，并结合分类器，便可以得到细分类模型。

在本实施例中，方法还可以包括：对每个检测任务的所有第一图像的识别结果进行整理归类，以形成检测报告。其中，一个检测任务可理解为：用户将在指定周期内（指定周期可以根据实际情况进行设置，例如可以为1天），拍摄同一超市/商场中货架上的物品得到的各类图像，然后利用服务器10对所得到的图像进行检测识别，得到每个图像中的商品的商品类别、型号信息等，完成所有图像上传及所有图像的检测识别的过程即为执行一个检测任务的流程。

比如，用户可以将得到的多个图像存储于一个文件夹中，不同的检测任务对应的图像可以通过不同的文件夹进行存储。当需要执行检测任务时，可以将检测任务对应的文件夹中的所有图像发送至服务器10，然后由服务器10对各个图像进行识别，得到图像中每个商品的商品类别、型号信息等。

针对每个检测任务，在得到每个图像中商品类别、型号等信息后，服务器10可以对信息进行去重处理，然后通过表格或文本方式存储商品类别、型号等信息，以形成检测任务的检测报告。该服务器10可以将该检测报告发送至相应的指定终端，指定终端可以为用户终端20，可以根据实际情况进行设置。基于此，相关人员可以通过指定终端，查看到在每个检测任务下汇总得到的各类商品的类别、型号等，方便用户查看检测情况。

请参照图5，本申请实施例还提供一种商品识别管理装置100，可以应用于上上述的服务器10中，可以用于执行或实现方法中的各步骤。商品识别管理装置100包括至少一个可以软件或固件（Firmware）的形式存储于存储模块12中或固化在服务器10操作系统（Operating System，OS）中的软件功能模块。处理模块11用于执行存储模块12中存储的可执行模块，例如商品识别管理装置100所包括的软件功能模块及计算机程序等。

商品识别管理装置100可以包括类别检测单元110、图像输入单元120、尺寸关系检测单元130、分类处理单元140。

类别检测单元110，用于将获取的第一图像输入经过训练的深度学习检测模型，得到对所述第一图像的检测结果，所述检测结果包括所述第一图像中的目标商品的商品类别及位置信息，所述第一图像为拍摄位于货架上的商品得到的图像。

图像输入单元120，用于将所述第一图像及所述检测结果输入经过训练的细分类模型，所述细分类模型包括特征提取器、卷积神经网络及分类器。

尺寸关系检测单元130，用于通过所述特征提取器对所述第一图像及所述检测结果进行特征提取，得到目标语义特征，所述目标语义特征包括表征所述目标商品与所述第一图像中的其他商品之间相对尺寸关系的高阶语义特征，所述其他商品包括所述第一图像中与所述目标商品位置相邻的商品。

分类处理单元140，用于通过所述卷积神经网络对所述目标语义特征进行卷积处理，并将卷积处理后的目标语义特征输入所述分类器，得到所述分类器输出的所述第一图像的识别结果，所述识别结果包括所述目标商品的商品类别及型号信息。

可选地，特征提取器包括第一子模型、第二子模型，尺寸关系检测单元130还用于：从所述第一图像中提取所述目标商品的尺寸信息，以及所述目标商品与相邻商品的相对尺寸关系；将所述尺寸信息、所述相对尺寸关系及所述检测结果输入所述第一子模型，得到所述第一子模型输出的第一高阶语义特征，所述第一子模型包括全连接神经网络；将所述第一图像及所述检测结果输入所述第二子模型，得到所述第二子模型输出的第二高阶语义特征，所述第二子模型包括卷积神经网络；将所述第一高阶语义特征、所述第二高阶语义特征进行拼接，得到所述目标语义特征。

可选地，尺寸关系检测单元130还用于：基于与所述目标商品的商品类别对应的裁剪策略，从所述第一图像中裁剪包括相同的所述商品类别的商品的目标图区；将所述目标图区及所述检测结果输入所述第二子模型，得到所述第二子模型输出的第二高阶语义特征。

可选地，类别检测单元110用于：将获取的第一图像输入经过训练的深度学习检测模型进行检测；将商品类别相同且商品尺寸不同的商品确定为所述目标商品，得到所述深度学习检测模型输出的对所述第一图像的检测结果。

可选地，商品识别管理装置100还可以包括关系建立单元，用于建立所述目标商品的商品类别、所述型号信息及所述目标商品在所述第一图像中的位置的对应关系。

可选地，商品识别管理装置100还可以包括图像获取单元及模型训练单元。在图像输入单元120将所述第一图像及所述检测结果输入经过训练的细分类模型之前，图像获取单元用于获取训练图像集，包括多个第二图像，所述第二图像为拍摄位于货架上的商品得到的图像，每个所述第二图像包括表征所述第二图像中的商品的商品类别的标签、型号信息的标签；模型训练单元用于通过所述训练图像集训练细分类模型，得到经过训练的细分类模型。

需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的服务器10、商品识别管理装置100的具体工作过程，可以参考前述方法中的各步骤对应过程，在此不再过多赘述。

在本实施例中，处理模块11可以是一种集成电路芯片，具有信号的处理能力。上述处理模块11可以是通用处理器。例如，该处理器可以是中央处理器（Central ProcessingUnit，CPU）、图形处理器（Graphics Processing Unit， GPU）、网络处理器（NetworkProcessor，NP）等；还可以是数字信号处理器（Digital Signal Processing，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。

通信模块13用于通过网络建立服务器10与用户终端20的通信连接，并通过网络收发数据。

存储模块12可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，存储模块12可以用于存储第一图像、深度学习检测模型、细分类模型等。当然，存储模块12还可以用于存储程序，处理模块11在接收到执行指令后，执行该程序。

本申请实施例还提供一种计算机可读存储介质。可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如上述实施例中所述的商品识别管理方法。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施场景所述的方法。

综上所述，本申请提供一种商品识别管理方法、装置、服务器及可读存储介质。方法包括：将获取的第一图像输入经过训练的深度学习检测模型，得到第一图像的检测结果，包括目标商品的商品类别，第一图像为拍摄位于货架上的商品得到的图像；将第一图像及检测结果输入经过训练的细分类模型，细分类模型包括特征提取器、卷积神经网络及分类器；通过特征提取器对第一图像及检测结果进行特征提取，得到目标语义特征，目标语义特征包括目标商品与第一图像中的其他商品之间相对尺寸关系，其他商品包括第一图像中与目标商品位置相邻的商品；通过卷积神经网络对目标语义特征进行卷积处理，并将卷积处理后的目标语义特征输入分类器，得到分类器输出的第一图像的识别结果，识别结果包括目标商品的商品类别及型号信息。

在本方案中，通过深度学习检测模型对商品进行初步分类，然后利用细分类模型结合商品之间的位置尺寸关系，对商品的型号进行进一步识别分类，从而有利于提高对商品的类别、型号识别的准确性及可靠性，提高对商品识别的精度。

在本申请所提供的实施例中，应该理解到，所揭露的装置、系统和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种商品识别管理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述特征提取器包括第一子模型和第二子模型，通过所述特征提取器对所述第一图像及所述检测结果进行特征提取，得到目标语义特征，包括：

3.根据权利要求2所述的方法，其特征在于，将所述第一图像及所述检测结果输入所述第二子模型，得到所述第二子模型输出的第二高阶语义特征，包括：

4.根据权利要求1所述的方法，其特征在于，将获取的第一图像输入经过训练的深度学习检测模型，得到对所述第一图像的检测结果，包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，在将所述第一图像及所述检测结果输入经过训练的细分类模型之前，所述方法还包括：

7.一种商品识别管理装置，其特征在于，所述装置包括：

8.根据权利要求7所述的装置，其特征在于，所述特征提取器包括第一子模型和第二子模型，所述尺寸关系检测单元还用于：

9.一种服务器，其特征在于，所述服务器包括相互耦合的存储器、处理器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述服务器执行如权利要求1-6中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-6中任意一项所述的方法。