CN111222389B - 商超货架上商品的分析方法和系统 - Google Patents

Abstract

本发明属于视觉识别技术领域，其公开了一种商超货架上商品的分析方法和系统。方法包括获取一张货架图像，货架图像中包含商超货架上商品和与商品对应的价签，一张货架图像与一个拍摄角度对应；根据货架图像、预先训练的初级商品分类模型和价签文本识别模型，获取与商超货架上商品对应的初级商品分类结果和与价签对应的初级价格识别结果；在货架图像上显示初级商品分类结果和初级价格识别结果。系统包括图像获取装置、初级分类装置和显示装置。本发明通过上述技术方案避免了购物场所的管理人员在管理货架上商品信息时，在货架前一个个地去查阅商品包装，然后记录商品信息，提高了管理效率，便于管理人员对商超货架上所有商品信息一目了然。

Description

商超货架上商品的分析方法和系统

技术领域

本发明属于视觉识别技术领域，特别涉及一种商超货架上商品的分析方法和系统。

背景技术

在超市或商场中，通常设置有商超货架(或称商场货架或称超市货架)上，在商超货架上摆放有待售的商品。为了更好地对商品进行管理，需了解商超货架上商品的信息，

现有技术中，超市或商场的管理人员在管理货架上的商品时，首先走到商超货架前方，然后逐个查看并记录商品的信息，从而可以与商品台账进行核对。由于需管理人员亲临商超货架的现场且须逐个查看商品，导致了浪费人力、耗时且管理效率低下。

发明内容

为了解决上述问题，本发明一方面提供了一种商超货架上商品的分析方法，其包括：获取图像步骤，获取一张货架图像，所述货架图像中包含商超货架上商品和与所述商品对应的价签，一张所述货架图像与一个拍摄角度对应；初级分类步骤，根据所述货架图像、预先训练的初级商品分类模型和价签文本识别模型，获取与所述商超货架上商品对应的初级商品分类结果和与所述价签对应的初级价格识别结果，所述初级商品分类模型为基于卷积神经网络的图像识别技术架构且经所述商超货架上所有商品训练的模型，所述价签文本识别模型为基于卷积神经网络的图像识别技术架构且经与所述商超货架上所有商品对应的价签训练的模型；显示步骤，在所述货架图像上显示所述初级商品分类结果和初级价格识别结果。

在如上所述的分析方法中，优选地，在所述获取与所述货架上商品对应的初级商品分类结果之后，所述分析方法还包括：获取与所述初级商品分类结果对应的商品价格；判断所述商品价格是否与所述初级价格识别结果一致，若判断为不一致，则发出第一提醒信息。

在如上所述的分析方法中，优选地，当所述商超货架上商品为水果生鲜时，在所述初级分类步骤之后，所述分析方法还包括：根据所述货架图像和预先训练的与所述初级商品分类结果对应的水果生鲜腐烂模型，判断所述初级商品分类结果是否处于腐烂状态；若判断为是处于腐烂状态，则发出第二提醒信息；其中，所述水果生鲜腐烂模型为基于卷积神经网络的图像识别技术架构且经所述商超货架上所有处于腐烂状态的商品训练的模型。

在如上所述的分析方法中，优选地，在所述初级分类步骤之后，所述分析方法还包括：根据所述货架图像和预先训练的空货架模型，判断所述商超货架上的商品是否处于售空状态；若判断为是处于售空状态，则发出第三提醒信息。

在如上所述的分析方法中，优选地，在所述获取图像步骤之前，所述分析方法包括：判断拍摄角度的数量是否为多个，多个所述拍摄角度与多张所述货架图像一一对应；若判断为是，则依次对获取的多张所述货架图像中的每张所述货架图像执行所述获取初级结果步骤，以得到每张所述货架图像中与所述商超货架上商品对应的初级商品分类结果和与所述价签对应的初级价格识别结果，根据多个所述初级商品分类结果、多个所述初级价格识别结果和预先训练的一级商品线性回归模型和一级价签线性回归模型获取一级商品分类结果和一级价格识别结果，在所述货架图像上显示所述一级商品分类结果和一级价格识别结果；若判断为否，则跳转至所述获取图像步骤。

在如上所述的分析方法中，优选地，在所述根据多个所述初级商品分类结果、多个所述初级价格识别结果和预先训练的一级线性回归模型获取一级商品分类结果和一级价格识别结果之后，所述分析方法还包括：判断所述初级商品分类结果是否为相似商品；若判断为是相似商品，则根据多张所述货架图像和预先训练的二级商品分类模型，获取与所述相似商品对应的次级商品分类结果，再根据多个所述次级商品分类结果和预先训练的二级商品线性回归模型获取与所述相似商品对应的二级商品分类结果，所述二级分类模型为预先基于卷积神经网络的图像识别技术架构且经所述商超货架上所有相似商品训练的模型；相应地，在所述货架图像上显示所述二级商品分类结果和一级价格识别结果；若判断为否，则跳转至所述显示步骤。

本发明另一方面提供了一种商超货架上商品的分析系统，其包括：图像获取装置，用于获取一张货架图像，所述货架图像中包含商超货架上商品和与所述商品对应的价签，一张所述货架图像与一个拍摄角度对应；初级分类装置，用于根据所述货架图像、预先训练的初级商品分类模型和价签文本识别模型，获取与所述商超货架上商品对应的初级商品分类结果和与所述价签对应的初级价格识别结果，所述初级商品分类模型为基于卷积神经网络的图像识别技术架构且经所述商超货架上所有商品训练的模型，所述价签文本识别模型为基于卷积神经网络的图像识别技术架构且经与所述商超货架上所有商品对应的价签训练的模型；显示装置，用于在所述货架图像上显示所述初级商品分类结果和初级价格识别结果。

在如上所述的分析系统中，优选地，所述分析系统还包括：第一提醒模块，用于获取与所述初级商品分类结果对应的商品价格，并判断所述商品价格是否与所述初级价格识别结果一致，若判断为不一致，则发出第一提醒信息。

在如上所述的分析系统中，优选地，当所述商超货架上商品为水果生鲜时，所述分析系统还包括：第二提醒模块，用于根据所述货架图像和预先训练的与所述初级商品分类结果对应的水果生鲜腐烂模型，判断所述初级商品分类结果是否处于腐烂状态，若判断为是处于腐烂状态，则发出第二提醒信息，其中，所述水果生鲜腐烂模型为基于卷积神经网络的图像识别技术架构且经所述商超货架上所有处于腐烂状态的商品训练的模型。

在如上所述的分析系统中，优选地，所述分析系统还包括：第三提醒模块，用于根据所述货架图像和预先训练的空货架模型，判断所述商超货架上的商品是否处于售空状态，若判断为是处于售空状态，则发出第三提醒信息。

在如上所述的分析系统中，优选地，所述分析系统还包括：第一判断装置，用于判断拍摄角度的数量是否为多个，多个所述拍摄角度与多张所述货架图像一一对应；第一选择装置，用于在所述第一判断装置判断为是时，选择执行一级分类装置，以及在所述第一判断装置为否时，选择执行所述图像获取装置；其中，所述一级分类装置用于：依次对获取的多张所述货架图像中的每张所述货架图像执行所述获取初级结果步骤，以得到每张所述货架图像中与所述商超货架上商品对应的初级商品分类结果和与所述价签对应的初级价格识别结果，根据多个所述初级商品分类结果、多个所述初级价格识别结果和预先训练的一级商品线性回归模型和一级价签线性回归模型获取一级商品分类结果和一级价格识别结果，在所述货架图像上显示所述一级商品分类结果和一级价格识别结果。

在如上所述的分析系统中，优选地，所述分析系统还包括：第二判断装置，用于判断所述初级商品分类结果是否为相似商品；第二选择装置，用于在所述第二判断装置判断为是相似商品时，选择执行二级分类装置，以及在所述第二判断装置判断为否时，选择执行所述图像获取装置；其中，所述二级分类装置用于根据多张所述货架图像和预先训练的二级商品分类模型，获取与所述相似商品对应的次级商品分类结果，再根据多个所述次级商品分类结果和预先训练的二级商品线性回归模型获取与所述相似商品对应的二级商品分类结果，在所述货架图像上显示所述二级商品分类结果和一级价格识别结果，所述二级商品分类模型为预先基于卷积神经网络的图像识别技术架构且经所述商超货架上所有相似商品训练的模型。

本发明实施例提供的技术方案带来的有益效果是：

通过获取货架图像，然后根据货架图像、预先训练的初级商品分类模型和价签文本识别模型，获取与货架上商品对应的初级商品分类结果和与价签对应的初级价格识别结果，接着在货架图像上显示初级商品分类结果和初级价格识别结果，从而避免购物场所的管理人员在管理货架上商品信息时，在货架前一个个地去查阅商品包装，然后记录商品信息，提高了管理效率，便于管理人员对商超货架上所有商品信息一目了然，方便对所有商品的管理。

附图说明

图1为本发明一实施例提供的一种商超货架上商品的分析方法的流程示意图；

图2为本发明另一实施例提供的一种商超货架上商品的分析方法的流程示意图；

图3为本发明另一实施例提供的另一种商超货架上商品的分析方法的流程示意图；

图4为本发明另一实施例提供的又一种商超货架上商品的分析方法的流程示意图；

图5为本发明另一实施例提供的再一种商超货架上商品的分析方法的流程示意图；

图6为本发明又一实施例提供的一种商超货架上商品的分析方法的流程示意图；

图7为本发明一实施例提供的一种商超货架上商品的分析系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

下面将参考附图并结合实施例来详细说明本发明。各个示例通过本发明的解释的方式提供而非限制本发明。实际上，本领域的技术人员将清楚，在不脱离本发明的范围或精神的情况下，可在本发明中进行修改和变型。例如，示为或描述为一个实施例的一部分的特征可用于另一个实施例，以产生又一个实施例。因此，所期望的是，本发明包含归入所附权利要求及其等同物的范围内的此类修改和变型。

参见图1，本发明一实施例提供了一种商超货架上商品的分析方法，其包括：

步骤101，即获取图像步骤：获取一张货架图像，货架图像中包含商超货架上商品和与商品对应的价签。一张货架图像与一个拍摄角度对应，价签是商家向顾客公布商品价格的一种形式，其含有价格信息。

步骤102，即初级分类步骤，根据货架图像、预先训练的初级商品分类模型和价签文本识别模型，获取与货架上商品对应的初级商品分类结果和与价签对应的初级价格识别结果。

其中，初级商品分类模型为基于卷积神经网络的图像识别技术架构且经货架上所有商品训练的模型，价签文本识别模型为基于卷积神经网络的图像识别技术架构且经与货架上所有商品对应的价签训练的模型。

步骤103，即显示步骤，在货架图像上显示初级商品分类结果和初级价格识别结果。

本发明实施例通过获取货架图像，然后根据货架图像、预先训练的初级商品分类模型和价签文本识别模型，获取与货架上商品对应的初级商品分类结果和与价签对应的初级价格识别结果，接着在货架图像上显示初级商品分类结果和初级价格识别结果，从而避免购物场所的管理人员在管理货架上商品信息时，在货架前一个个地去查阅商品包装，然后记录商品信息，提高了管理效率，便于管理人员对商超货架上所有商品信息一目了然，方便对所有商品的管理。

参见图2，结合上述一实施例的内容，本发明另一实施例提供了一种商超货架上商品的分析方法，其包括：

步骤201，获取一张货架图像。

具体地，根据商超货架上商品的摆放情况，设置图像采集装置的位置，图像采集装置用于对商超货架上商品及商品对应的价签进行拍摄以获取货架图像，其可以为摄像头。当商超货架上商品以水平面或相对水平面倾斜预设角度的形式摆放时，图像采集装置设置在商超货架的上方，其从上向下对商品及价签进行拍摄。当商超货架上商品以竖直平面的形式摆放时，图像采集装置设置在商超货架的前方，其从商超货架的前方对商品及价签进行拍摄。实际应用时，调整图像采集装置的位置以使其拍摄区域覆盖所需采集的商品和商品对应的价签。图像采集装置可以是固定式结构，如图像采集装置固定在商超货架上方或前方的支架上；还可以是移动式结构，如图像采集装置为移动终端的摄像头，移动终端可以为手机或平板电脑。采用固定式结构，不仅利于商超货架上商品的分析，还方便对货架进行实时监控。

步骤202，获取预先训练的初级商品分类模型和价签文本识别模型。

具体地，采集数据建立数据集，采集数据的过程包括但不限于：1)对商超货架上所有商品从各个拍摄角度以及在各个姿态下拍摄来获取大量的图像。2)然后对这些图像进行标注：对图像中商品位置、大小和类别以及价签位置、大小和价格进行标注。数据集包括的数据是指前述这些图像以及这些图像上进行的标注。初级商品分类模型为基于卷积神经网络的图像识别技术架构的模型，并使用商超货架上所有商品的数据对初级商品分类模型进行了训练，训练时可以通过梯度下降的方式进行。价签文本识别模型为基于卷积神经网络的图像识别技术架构的模型，并使用商超货架上与所有商品相应的价签数据对价签文本识别模型进行了训练，训练时可以通过梯度下降的方式进行。

步骤203，根据货架图像、预先训练的初级商品分类模型和价签文本识别模型，获取与商超货架上商品对应的初级商品分类结果和与价签对应的初级价格识别结果。

具体地，先对接收的货架图像进行目标检测，目标检测时，会在该张图像上拉出与商品对应的商品目标区域，以及与相应价签对应的价签目标区域，目标区域对应的图像分别称之为商品目标区域图像和价签目标区域图像。目标区域的形状可以为矩形、圆形。

训练好的初级商品分类模型对商品目标区域图像进行分类，则得到与每个商品对应的初级商品分类结果，该初级商品分类结果是通过以下方式得到：该模型的输出为一个O维向量，O表示商超货架上商品的种类数量，向量中每个元素的含义表示一级商品分类模型预测待分类的该商品属于O种商品中每种商品的概率。实际应用时通常选择概率值最大的商品作为预测结果，即作为初级商品分类结果。

训练好的价签文本识别模型对价签目标区域图像进行识别，则得到与每个价签对应的初级价格识别结果。价签含有的价格信息通常由多个数字和小数点组成。该模型会预测待识别的数字为每个数字的概率。实际应用时通常选择概率值最大的数字作为预测结果，如此实现多个数字的预测，将其组合以及小数点作为初级价格识别结果。

步骤204，在货架图像上显示初级商品分类结果和初级价格识别结果。

具体地，在货架图像上拉出了商品目标区域图像和价签目标区域图像，将初始商品分类结果显示在货架图像中商品目标区域附近，将初级价格识别结果显示在货架图像中价签目标区域附近。

实际应用中，会出现商品的价签所表示的价格与商品的实际价格不符，使顾客的购物体验不友好，同时还会对商场或超市造成损失，为了便于管理人员对这种情况进行管理，参见图3，本分析方法在步骤203之后，还包括：

步骤205，获取与初级商品分类结果对应的商品价格。

具体地，商场或超市等购物场所在采购商品后，会建立商品的价格数据库。以初级商品分类结果为索引在价格数据库中进行查询，则得到与初级商品分类结果对应的实际价格。

步骤206，判断商品价格是否与初级价格识别结果一致，若判断为不一致，则发出第一提醒信息。

具体地，在获取到商品价格后，将其与初级价格识别结果进行比较，判断两者是否一致，即商品价格是否与初级价格识别结果是否为同样大小，若判断为不一致，则发出第一提醒信息，第一提醒信息表征商品价格不符，例如可以以语音的方式发出，语音可以含有文字内容，如“某某商品价格不符”等；还可以是报警声，如滴滴滴；还可以以文本的形式发出，如短消息或者打印的文档；又可以以图形标注的形式发出，如在货架图像上显示初级价格识别结果，并在该结果附近显示价格有误或者该结果以突出字体或字体颜色进行进行标注。

实际应用中，摆放在商超货架上的商品各种各样，当商品为水果生鲜时，由于其储存条件苛刻以及保质期较短，在售卖期间极易发生腐烂现象，影响顾客的购物体验，若不及时清理，还会加重商场或超市的损失，为了便于管理人员对这种情况进行管理，参见图4，对于商超货架上商品为水果生鲜时，本分析方法在步骤203之后，还包括：

步骤207，根据货架图像和预先训练的与初级商品分类结果对应的水果生鲜腐烂模型，判断初级商品分类结果是否处于腐烂状态。

具体地，采集数据建立数据集，采集数据的过程包括但不限于：1)对处于各种腐烂状态的水果生鲜从各个拍摄角度对其进行拍摄。2)然后对这些图像进行标注。水果生鲜腐烂模型为基于卷积神经网络的图像识别技术架构且经商超货架上所有处于腐烂状态的商品训练的模型。训练时可以通过梯度下降的方式进行。使用水果生鲜腐烂模型对商品目标区域图像进行识别，然后得到一级商品分类结果是否处于腐烂状态。

步骤208，若判断为是处于腐烂状态，则发出第二提醒信息。

具体地，在判断一级商品分类结果处于腐烂状态后，发出第二提醒信息，第二提醒信息表征商品处于腐烂状态，例如可以以语音的方式发出，语音可以含有文字内容，如“某某商品处于腐烂状态”等，还可以是报警声，如滴滴滴；还可以以文本的形式发出，如短消息或者打印的文档；又可以以图形标注的形式发出，如在货架图像上显示初级商品分类结果，并在该结果附近显示处于腐烂状态或者该结果以突出字体或字体颜色进行进行标注。

实际应用中，某商品可能属于热卖商品，在其摆放在商超货架一段时间后，相对于其他商品，极易售完，即出现了售空现象，为了提醒管理人员及时补货，并方便顾客再次购买，提升顾客购物体验，参见图5，本分析方法在步骤203之后，还包括：

步骤209，根据货架图像和预先训练的空货架模型，判断商超货架上的商品是否处于售空状态。

具体地，采集数据建立数据集，采集数据的过程包括但不限于：1)对处于各种售空状态的货架从各个拍摄角度对其进行拍摄。2)然后对这些图像进行标注。空货架模型为基于卷积神经网络的图像识别技术架构且经所有处于售空状态的商超货架训练的模型。训练时可以通过梯度下降的方式进行。使用空货架模型对商品目标区域图像进行识别，然后得到商超货架是否处于售空状态。

步骤210，若判断为是处于售空状态，则发出第三提醒信息。

具体地，在判断商超货架处于售空状态后，将判断为处于售空状态的货架图像与非售空状态的货架图像进行比对，确定商品目标区域图像，然后利用之前对该商品目标区域图像的初级商品识别结果作为处于售空状态的商品，然后发出第三提醒信息，第三提醒信息表征商超货架处于售空状态，例如可以以语音的方式发出，语音可以含有文字内容，如“某某货架处于售空状态”等，还可以是报警声，如滴滴滴；还可以以文本的形式发出，如短消息或者打印的文档；又可以以图形标注的形式发出，如在货架图像上显示初级商品分类结果，并在该结果附近显示处于空状态。

本发明实施例通过获取货架图像，然后根据货架图像、预先训练的初级商品分类模型和价签文本识别模型，获取与货架上商品对应的初级商品分类结果和与价签对应的初级价格识别结果，接着在货架图像上显示初级商品分类结果和初级价格识别结果，从而避免购物场所的管理人员在管理货架上商品信息时，在货架前一个个地去查阅商品包装，然后记录商品信息，提高了管理效率，便于管理人员对商超货架上所有商品信息一目了然，方便对所有商品的管理。

参见图6，结合上述实施例的内容，本发明实施例又提供了一种商超货架上商品的分析方法，其包括：

步骤301，判断拍摄角度的数量是否为多个，多个拍摄角度与多张货架图像一一对应，若判断为是，则执行步骤302～304，否则，执行步骤305～306。

具体地，图像采集装置会以某一拍摄角度对商超货架上的商品及价签进行拍摄，从而获取到一张货架图像。由于一个拍摄角度与一张货架图像相对应，变换不同的拍摄角度，从而可以采集与不同的拍摄角度对应的货架图像，如此便于提高商品及价签的识别率。以图像采集装置为摄像头为例，说明实现多个拍摄角度的方式：可以是布置多个摄像头，其与多个拍摄角度一一对应；还可以是布置N个摄像头，通过变换摄像头的位置和/或朝向来实现多个拍摄角度，N为大于等于1的正整数且小于拍摄角度的数量，本实施例不对多个拍摄角度的实现方式进行限定。需要说明的是，每个摄像头可以是位于移动端的摄像头(即移动时摄像头)，还可以是位于固定支架上的摄像头，又可以是位于移动支架上的摄像头。本文中的拍摄角度可以指拍摄方向一个因素，也可以指拍摄方向和拍摄距离两个因素，还可以指其他因素或其他数量的因素，本实施例对此不进行限定。

实际应用中，根据工作现场配置的图像采集装置的数量来确定拍摄角度的数量，如当工作现场配置了一个图像采集装置时，则拍摄角度的数量为一个；当工作现场配置了多个图像采集装置时，则拍摄角度的数量为多个。

步骤302，获取多张货架图像，根据多张货架图像、预先训练的初级商品分类模型和价签文本识别模型，获取与货架上商品对应的多个初级商品分类结果和与价签对应的多个初级价格识别结果。

具体地，关于如何获取预先训练的初级商品分类模型和价签文本识别模型的方法以及如何获取初级商品分类结果和初级价格识别结果的方法，可分别参见上述实施例步骤202和203的相关介绍，此处不再一一赘述。由于货架图像的数量为多张，则得到与每个商品对应的多个初级商品分类结果，即初级商品分类结果的数量与图像的张数一致，此时初级商品分类结果以O维向量表示，并不是以选择概率值最大的商品作为初级商品分类结果。

步骤303，根据多个初级商品分类结果、多个初级价格识别结果和预先训练的一级商品线性回归模型和一级价签线性回归模型获取一级商品分类结果和一级价格识别结果。

具体地，训练初级商品分类模型时，将初级商品分类模型输出的初级商品分类结果作为一级商品线性回归模型的输入，该初级商品分类结果对应的图像中所包含的商品的正确分类作为一级商品线性回归模型的输出，以此来训练一级商品线性回归模型。训练好的一级商品线性回归模型对商品的多个初级商品分类结果进行数据融合，得到与商品对应的一个一级商品分类结果，该一级商品分类结果表示一级商品线性回归模型预测图像中的某一个商品为商超货架上所有商品中哪个类别。

训练价签文本识别模型时，将价签文本识别模型输出的初级价格识别结果作为一级价签线性回归模型的输入，该初级价格识别结果对应的图像中所包含的价格的正确识别作为一级价签线性回归模型的输出，以此来训练一级价签线性回归模型。训练好的一级价签线性回归模型对价签的多个初级价格识别结果进行数据融合，得到与价签对应的一个一级价格识别结果，该一级价格识别结果表示一级价签线性回归模型预测图像中的某一个价签的价格为多少。

在货架图像上拉出了商品目标区域图像和价签目标区域图像，将一级商品分类结果显示在货架图像中商品目标区域附近，将一级价格识别结果显示在货架图像中价签目标区域附近。

步骤304，在货架图像上显示一级商品分类结果和一级价格识别结果。

步骤305，根据一张货架图像、预先训练的初级商品分类模型和价签文本识别模型，获取与商超货架上商品对应的初级商品分类结果和与价签对应的初级价格识别结果。

步骤306，在货架图像上显示初级商品分类结果和初级价格识别结果。

关于步骤305的实现方法可参见上述实施例步骤202和203的相关介绍，关于步骤306的实现方法可参见上述实施例步骤204的相关介绍，此处不再一一赘述。

通常商超货架上的商品有多种，在该多种商品中会存在一些外观相近及通过视觉易混淆的商品，将这些商品称为相似商品，如：黄元帅苹果和黄色的雪花梨，如一厂家的矿泉水和另一厂家的矿泉水。若待分类的单个商品为相似商品时，初级商品分类模型难以准确地对该商品进行分类，如把黄元帅的苹果与黄色的雪花梨弄混，将黄元帅的苹果分类为黄色的雪花梨；把该厂家的矿泉水预测为另一厂家的矿泉水，因此为了提高识别准确率，在步骤304之前，本分析方法还包括下述步骤：

步骤307，判断初级商品分类结果是否为相似商品，若判断为相似商品，则执行步骤308～309，否则执行步骤305～306。

具体地，将多种相似商品整理成一个相似商品表，在得到初级商品分类结果后，在预设的相似商品表中进行查找，若查找到与初级商品分类结果匹配的相似商品，则判断初级商品分类结果为相似商品；若未查找到与初级商品分类结果匹配的相似商品，则判断初级商品分类结果不为相似商品。

步骤308，根据多张货架图像和预先训练的二级商品分类模型，获取与相似商品对应的多个次级商品分类结果。

具体地，利用在上述实施例中步骤202中建立的数据集中的相似商品的数据对二级商品分类模型进行训练，训练时可以通过梯度下降的方式进行。二级商品分类模型也为基于卷积神经网络的图像识别技术架构，二级商品分类模型和一级商品分类模型的区别在于训练时所使用的数据不同，一级商品分类模型使用的数据为商超货架上所有商品的数据，二级商品分类模型使用的数据为商超货架上所有相似商品数据。

训练好的二级商品分类模型对与商品目标区域图像中的相似商品进行分类，得到与相似商品对应的多个次级商品分类结果，每个次级商品分类结果也为一个p维向量，向量中每个元素的含义表示二级商品分类模型认为待分类的商品属于p个相似商品中每个商品的概率，p小于等于O，且其表示商超货架上所有相似商品的总数量。

实际应用中，商超货架上所有的相似商品分为多组，如一组相似商品中包括黄元帅苹果和黄色的雪花梨，另一组相似商品中包括散装的盐和散装的白糖；再一组相似商品中包括碱面和面粉。可以针对所有组相似商品训练一个二级商品分类模型，为了进一步提高对商品分类的准确率，针对每组相似商品训练一个二级商品分类模型，此时，若一级商品分类结果为相似商品，则调用该一级商品分类结果对应的二级商品分类模型。

步骤309，根据多个次级商品分类结果和预先训练的二级商品线性回归模型获取与相似商品对应的二级商品分类结果。

此时步骤304相应地执行：在货架图像上显示二级商品分类结果和一级价格识别结果。

具体地，将训练二级商品分类模型时，二级商品分类模型输出的次级商品分类结果作为二级商品线性回归模型的输入，该次级商品分类结果对应的图像中所包含的商品的正确分类作为二级商品线性回归模型的输出，以此来训练二级商品线性回归模型。训练好的二级商品线性回归模型对与相似商品对应的多个次级商品分类结果进行数据融合，得到一个二级商品分类结果，该二级商品分类结果表示二级商品线性回归模型预测图像中商品为商超货架上所有商品中哪个类别。然后在货架图像上显示二级商品分类结果和一级价格识别结果。

关于步骤308～309的实现方法可参见上述实施例步骤201～204的相关介绍，此处不再一一赘述。

本发明实施例通过判断拍摄角度的数量，然后根据拍摄角度的数量获取相应张数的货架图像，再相应执行不同的处理过程，从而避免购物场所的管理人员在管理货架上商品信息时，在货架前一个个地去查阅商品包装，然后记录商品信息，提高了管理效率，便于管理人员对商超货架上所有商品信息一目了然，方便对所有商品的管理。

参见图7，本发明一实施例提供了商超货架上商品的分析系统，用于执行上述实施例所提供的分析方法，其包括：图像获取装置401、初级分类装置402和显示装置403。

图像获取装置401用于获取货架图像，货架图像中包含商超货架上商品和与商品对应的价签。初级分类装置402用于根据货架图像、预先训练的初级商品分类模型和价签文本识别模型，获取与商超货架上商品对应的初级商品分类结果和与价签对应的初级价格识别结果，初级商品分类模型为基于卷积神经网络的图像识别技术架构且经商超货架上所有商品训练的模型，价签文本识别模型为基于卷积神经网络的图像识别技术架构且经与商超货架上所有商品对应的价签训练的模型。显示装置403用于在货架图像上显示初级商品分类结果和初级价格识别结果。

优选地，本分析系统还包括：第一提醒模块，用于获取与初级商品分类结果对应的商品价格，并判断商品价格是否与初级价格识别结果一致，若判断为不一致，则发出第一提醒信息。

优选地，当货架上商品为水果生鲜时，本分析系统还包括：第二提醒模块，用于根据货架图像和预先训练的与一级商品分类结果对应的水果生鲜腐烂模型，判断一级商品分类结果是否处于腐烂状态；若判断为是处于腐烂状态，则发出第二提醒信息；其中，水果生鲜腐烂模型为基于卷积神经网络的图像识别技术架构且经商超货架上所有处于腐烂状态的商品训练的模型。

优选地，本分析系统还包括：第三提醒模块，用于根据货架图像和预先训练的空货架模型，判断商超货架上的商品是否处于售空状态；若判断为是处于售空状态，则发出第三提醒信息。

优选地，本分析系统还包括：第一判断装置，用于判断拍摄角度的数量是否为多个，多个拍摄角度与多张货架图像一一对应。第一选择装置，用于在第一判断装置判断为是时，选择执行一级分类装置，以及在第一判断装置为否时，选择执行图像获取装置；其中，一级分类装置用于：获取多张货架图像，根据多张货架图像、预先训练的初级商品分类模型和价签文本识别模型，获取与商超货架上商品对应的多个初级商品分类结果和与价签对应的多个初级价格识别结果，根据多个初级商品分类结果、多个初级价格识别结果和预先训练的一级商品线性回归模型和一级价签线性回归模型获取一级商品分类结果和一级价格识别结果，在货架图像上显示一级商品分类结果和一级价格识别结果。

优选地，本分析系统还包括：第二判断装置，用于判断初级商品分类结果是否为相似商品。第二选择装置，用于在第二判断装置判断为是相似商品时，选择执行二级分类装置，以及在第二判断装置判断为否时，选择执行图像获取装置；其中，二级分类装置用于根据多张货架图像和预先训练的二级商品分类模型，获取与相似商品对应的次级商品分类结果，再根据多个次级商品分类结果和预先训练的二级商品线性回归模型获取与相似商品对应的二级商品分类结果，在货架图像上显示二级商品分类结果和一级价格识别结果，二级商品分类模型为预先基于卷积神经网络的图像识别技术架构且经商超货架上所有相似商品训练的模型。

需要说明的是，关于图像获取装置401、初级分类装置402和显示装置403、第一判断装置、第一选择装置、一级分类装置、第二判断装置、第二选择装置、二级分类装置、第一提醒模块、第二提醒模块和第三提醒模块的具体描述可参见上述实施例中步骤101～103、步骤201～210和步骤301～310的相关内容，此处不再一一赘述。

本发明一实施例提供了一种商超货架上商品的分析系统，其包括：图像采集装置、处理器和存储器。

其中，图像采集装置用于获取货架图像，货架图像中包含商超货架上商品和与商品对应的价签。存储器用于存储处理器可执行的指令。处理器被配置为：根据货架图像、预先训练的初级商品分类模型和价签文本识别模型，获取与商超货架上商品对应的初级商品分类结果和与价签对应的初级价格识别结果，初级商品分类模型为基于卷积神经网络的图像识别技术架构且经商超货架上所有商品训练的模型，价签文本识别模型为基于卷积神经网络的图像识别技术架构且经与商超货架上所有商品对应的价签训练的模型；在货架图像上显示初级商品分类结果和初级价格识别结果。关于图像采集装置和处理器的具体描述可参见上述实施例中步骤101～103、步骤201～210和步骤301～310的相关内容，此处不再一一赘述。

综上，本发明实施例带来的有益效果如下：

通过获取货架图像，然后根据货架图像、预先训练的初级商品分类模型和价签文本识别模型，获取与货架上商品对应的初级商品分类结果和与价签对应的初级价格识别结果，接着在货架图像上显示初级商品分类结果和初级价格识别结果，从而避免购物场所的管理人员在管理货架上商品信息时，在货架前一个个地去查阅商品包装，然后记录商品信息，提高了管理效率，便于管理人员对商品信息一目了然，方便对商品的管理。

由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (8)

1.一种商超货架上商品的分析方法，其特征在于，所述分析方法包括：

获取图像步骤，获取一张货架图像，所述货架图像中包含商超货架上商品和与所述商品对应的价签，一张所述货架图像与一个拍摄角度对应；

初级分类步骤，根据所述货架图像、预先训练的初级商品分类模型和价签文本识别模型，获取与所述商超货架上商品对应的初级商品分类结果和与所述价签对应的初级价格识别结果，所述初级商品分类模型为基于卷积神经网络的图像识别技术架构且经所述商超货架上所有商品训练的模型，所述价签文本识别模型为基于卷积神经网络的图像识别技术架构且经与所述商超货架上所有商品对应的价签训练的模型；

显示步骤，在所述货架图像上显示所述初级商品分类结果和初级价格识别结果；

其中，在所述获取图像步骤之前，所述分析方法包括：

判断拍摄角度的数量是否为多个，多个所述拍摄角度与多张所述货架图像一一对应；

若判断为是，则依次对获取的多张所述货架图像中的每张所述货架图像执行所述获取初级结果步骤，以得到每张所述货架图像中与所述商超货架上商品对应的初级商品分类结果和与所述价签对应的初级价格识别结果，根据多个所述初级商品分类结果、多个所述初级价格识别结果和预先训练的一级商品线性回归模型和一级价签线性回归模型获取一级商品分类结果和一级价格识别结果，在所述货架图像上显示所述一级商品分类结果和一级价格识别结果；

若判断为否，则跳转至所述获取图像步骤；

其中，在所述根据多个所述初级商品分类结果、多个所述初级价格识别结果和预先训练的一级线性回归模型获取一级商品分类结果和一级价格识别结果之后，所述分析方法还包括：

判断所述初级商品分类结果是否为相似商品；

若判断为是相似商品，则根据多张所述货架图像和预先训练的二级商品分类模型，获取与所述相似商品对应的次级商品分类结果，再根据多个所述次级商品分类结果和预先训练的二级商品线性回归模型获取与所述相似商品对应的二级商品分类结果，所述二级商品分类模型为预先基于卷积神经网络的图像识别技术架构且经所述商超货架上所有相似商品训练的模型；

相应地，在所述货架图像上显示所述二级商品分类结果和一级价格识别结果；

若判断为否，则跳转至所述显示步骤。

2.根据权利要求1所述的分析方法，其特征在于，在所述获取与所述商超货架上商品对应的初级商品分类结果之后，所述分析方法还包括：

获取与所述初级商品分类结果对应的商品价格；

判断所述商品价格是否与所述初级价格识别结果一致，若判断为不一致，则发出第一提醒信息。

3.根据权利要求1所述的分析方法，其特征在于，当所述商超货架上商品为水果生鲜时，在所述初级分类步骤之后，所述分析方法还包括：

根据所述货架图像和预先训练的与所述初级商品分类结果对应的水果生鲜腐烂模型，判断所述初级商品分类结果是否处于腐烂状态；

若判断为是处于腐烂状态，则发出第二提醒信息；

其中，所述水果生鲜腐烂模型为基于卷积神经网络的图像识别技术架构且经所述商超货架上所有处于腐烂状态的商品训练的模型。

4.根据权利要求1所述的分析方法，其特征在于，在所述初级分类步骤之后，所述分析方法还包括：

根据所述货架图像和预先训练的空货架模型，判断所述商超货架上的商品是否处于售空状态；

若判断为是处于售空状态，则发出第三提醒信息。

5.一种商超货架上商品的分析系统，其特征在于，所述分析系统包括：

图像获取装置，用于获取一张货架图像，所述货架图像中包含商超货架上商品和与所述商品对应的价签，一张所述货架图像与一个拍摄角度对应；

初级分类装置，用于根据所述货架图像、预先训练的初级商品分类模型和价签文本识别模型，获取与所述商超货架上商品对应的初级商品分类结果和与所述价签对应的初级价格识别结果，所述初级商品分类模型为基于卷积神经网络的图像识别技术架构且经所述商超货架上所有商品训练的模型，所述价签文本识别模型为基于卷积神经网络的图像识别技术架构且经与所述商超货架上所有商品对应的价签训练的模型；

显示装置，用于在所述货架图像上显示所述初级商品分类结果和初级价格识别结果；

所述系统还包括：

第一判断装置，用于判断拍摄角度的数量是否为多个，多个所述拍摄角度与多张所述货架图像一一对应；

第一选择装置，用于若判断为是，则依次对获取的多张所述货架图像中的每张所述货架图像执行所述获取初级结果步骤，以得到每张所述货架图像中与所述商超货架上商品对应的初级商品分类结果和与所述价签对应的初级价格识别结果，根据多个所述初级商品分类结果、多个所述初级价格识别结果和预先训练的一级商品线性回归模型和一级价签线性回归模型获取一级商品分类结果和一级价格识别结果，在所述货架图像上显示所述一级商品分类结果和一级价格识别结果；第一选择装置还用于若判断为否，则跳转至所述获取图像步骤；

第二判断装置，用于判断所述初级商品分类结果是否为相似商品；

第二选择装置，用于若判断为是相似商品，则根据多张所述货架图像和预先训练的二级商品分类模型，获取与所述相似商品对应的次级商品分类结果，再根据多个所述次级商品分类结果和预先训练的二级商品线性回归模型获取与所述相似商品对应的二级商品分类结果，所述二级商品分类模型为预先基于卷积神经网络的图像识别技术架构且经所述商超货架上所有相似商品训练的模型；其中，在所述货架图像上显示所述二级商品分类结果和一级价格识别结果；若判断为否，则跳转至所述显示步骤。

6.根据权利要求5所述的分析系统，其特征在于，所述分析系统还包括：

第一提醒模块，用于获取与所述初级商品分类结果对应的商品价格，并判断所述商品价格是否与所述初级价格识别结果一致，若判断为不一致，则发出第一提醒信息。

7.根据权利要求5所述的分析系统，其特征在于，当所述商超货架上商品为水果生鲜时，所述分析系统还包括：

第二提醒模块，用于根据所述货架图像和预先训练的与所述初级商品分类结果对应的水果生鲜腐烂模型，判断所述初级商品分类结果是否处于腐烂状态，若判断为是处于腐烂状态，则发出第二提醒信息，其中，所述水果生鲜腐烂模型为基于卷积神经网络的图像识别技术架构且经所述商超货架上所有处于腐烂状态的商品训练的模型。

8.根据权利要求5所述的分析系统，其特征在于，所述分析系统还包括：

第三提醒模块，用于根据所述货架图像和预先训练的空货架模型，判断所述商超货架上的商品是否处于售空状态，若判断为是处于售空状态，则发出第三提醒信息。