CN109353398B - 商品识别方法、装置和系统及存储介质及购物车 - Google Patents

Abstract

本发明实施例提供一种商品识别方法、装置和系统及存储介质及购物车。方法包括：获取购物车底部内表面的待处理图像；从待处理图像中识别购物车内的商品；基于识别结果判断购物车内是否存在待分离的商品；以及如果存在待分离的商品，则控制设置于购物车底部内表面上的滑块矩阵中的至少一个滑块上下运动，以带动待分离的商品运动。根据本发明实施例的商品识别方法、装置和系统及存储介质及购物车，购物车可以通过安装在其上的能够上下运动的滑块矩阵，自动地将商品顶下来，从而将重叠部分的商品打散开，将待识别的商品凸现出来。这种商品识别方法有助于实现高效、准确、快速的商品识别，可以大大提升用户体验。

Description

商品识别方法、装置和系统及存储介质及购物车

技术领域

本发明涉及智能控制技术领域，更具体地涉及一种商品识别方法、装置和系统及存储介质及购物车。

背景技术

在现有的智能购物方案中，通常采用摄像头对商品进行刷码识别。采用这样的视觉识别技术进行商品识别时，倘若发生多个商品堆叠或者相互遮挡的情况，则将无法有效地识别商品，从而会影响用户的购物体验。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种商品识别方法、装置和系统及存储介质及购物车。

根据本发明一方面，提供了一种商品识别方法。该方法包括：获取购物车底部内表面的待处理图像；从所述待处理图像中识别所述购物车内的商品；基于识别结果判断所述购物车内是否存在待分离的商品；以及如果存在待分离的商品，则控制设置于所述购物车底部内表面上的滑块矩阵中的至少一个滑块上下运动，以带动所述待分离的商品运动。

示例性地，所述识别结果包括与所述购物车内的至少一个商品相关的、用于指示商品所在位置的边界框的坐标信息以及商品的置信度，所述基于识别结果判断所述购物车内是否存在待分离的商品包括：如果基于边界框的坐标信息确定存在两个以上商品的边界框具有重叠区域，并且所述两个以上商品的置信度低于预定阈值，则确定所述两个以上商品为所述待分离的商品。

示例性地，在所述控制设置于所述购物车底部内表面上的滑块矩阵中的至少一个滑块上下运动之前，所述方法还包括：基于所述待分离的商品所在的位置确定所述至少一个滑块。

示例性地，所述识别结果包括与所述购物车内的至少一个商品相关的、用于指示商品所在位置的边界框的坐标信息，所述方法还包括：基于所述待分离的商品的边界框的坐标信息计算包含所述待分离的商品的新的边界框；以及确定所述滑块矩阵上的、与所述新的边界框所在位置对应的滑块，以获得所述至少一个滑块。

示例性地，，所述新的边界框是所述待分离的商品的边界框的最小外界矩形框。

示例性地，所述控制信号用于控制所述至少一个滑块运动一次或多次，其中，所述至少一个滑块每次按照至少一种运动模式运动。

示例性地，所述至少一个滑块每次运动时，按照当前的运动模式所指示的顺序依次提起。

示例性地，在所述从所述待处理图像中识别所述购物车内的商品之前，所述方法还包括：对所述待处理图像进行图像矫正。

根据本发明另一方面，提供了一种商品识别装置，包括：获取模块，用于获取购物车底部内表面的待处理图像；识别模块，用于从所述待处理图像中识别所述购物车内的商品；判断模块，用于基于识别结果判断所述购物车内是否存在待分离的商品；以及控制模块，用于如果存在待分离的商品，则控制设置于所述购物车底部内表面上的滑块矩阵中的至少一个滑块上下运动，以带动所述待分离的商品运动。

根据本发明另一方面，提供了一种购物车，包括：摄像头，用于采集购物车底部内表面的待处理图像；处理器，用于从所述待处理图像中识别所述购物车内的商品，基于识别结果判断所述购物车内是否存在待分离的商品，并且如果存在待分离的商品，则输出控制信号；滑块矩阵，设置于所述购物车底部内表面，所述滑块矩阵用于基于所述控制信号的控制使所述滑块矩阵中的至少一个滑块上下运动，以带动所述待分离的商品运动。

示例性地，所述购物车还包括：电路控制中心，分别与所述处理器和所述滑块矩阵连接，用于接收所述控制信号，并基于所述控制信号控制所述滑块矩阵中的所述至少一个滑块上下运动。

根据本发明另一方面，提供了一种商品识别系统，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行上述商品识别方法。

根据本发明另一方面，提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行上述商品识别方法。

根据本发明实施例的商品识别方法、装置和系统及存储介质及购物车，根据摄像头采集的购物车内的商品图像确定发生堆叠、模糊、遮挡等需要分离的区域，购物车可以通过安装在其上的能够上下运动的滑块矩阵，自动地将该区域的商品顶下来，从而将重叠部分的商品打散开，将待识别的商品凸现出来，从而让摄像头能够更清楚地采集其图像。这种商品识别方法可以实现购物车的智能化、自动化控制，有助于实现高效、准确、快速的商品识别，可以大大提升用户体验。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出用于实现根据本发明实施例的商品识别方法和装置的示例电子设备的示意性框图；

图2示出根据本发明一个实施例的商品识别方法的示意性流程图；

图3示出根据本发明一个实施例的购物车上的部分模块的示意图；

图4示出根据本发明一个实施例的滑块机构单元的立体图以及两个不同方向上的剖视图；

图5示出根据本发明一个实施例的滑块矩阵对应的平面图；

图6示出根据本发明一个实施例的当商品放置于滑块矩阵之上时滑块矩阵对应的平面图；

图7示出根据本发明一个实施例的商品的识别结果的示意图；

图8示出根据本发明一个实施例的、基于图7所示的商品的边界框获得新的边界框的示意图；

图9和图10分别示出根据本发明实施例的基于待分离的商品所确定的至少一个滑块的示意图；

图11a-11d分别示出根据本发明实施例的滑块的四种运动模式的示意图；

图12示出根据本发明一个实施例的利用滑块运动带动商品运动之后的商品分布示意图；

图13示出根据本发明一个实施例的与图12所示的商品分布相对应的识别结果的示意图；

图14a示出根据本发明一个实施例的滑块矩阵中的两个滑块提起的示意图；

图14b示出根据本发明一个实施例的放置有商品的滑块矩阵的示意图；

图14c示出根据本发明一个实施例的滑块提起之后的滑块矩阵以及商品的示意图；

图15示出了根据本发明一个实施例的商品识别装置的示意性框图；以及

图16示出了根据本发明一个实施例的商品识别系统的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。

为了解决上述商品堆叠导致的商品识别困难的问题，本发明实施例提供一种商品识别方法。当发生堆叠之后，根据摄像头采集的图像确定发生堆叠、模糊、遮挡等需要分离的区域，购物车底部通过安装在其上的能够上下运动的滑块矩阵将该区域的商品顶下来，从而将重叠部分的商品打散开，将待识别的商品凸现出来，从而让摄像头能够更清楚地采集其图像。

首先，参照图1来描述用于实现根据本发明实施例的商品识别方法和装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104。可选地，电子设备100还可以包括输入装置106、输出装置108、以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用微处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)、图像处理器(GPU)、专用的集成电路(ASIC)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音)，并且可以包括显示器、扬声器等中的一个或多个。可选地，所述输入装置106和所述输出装置108可以集成在一起，采用同一交互装置(例如触摸屏)实现。

所述图像采集装置110可以采集图像(包括静态图像和视频帧)，并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以是单独的相机或摄像头中的图像传感器。应当理解，图像采集装置110仅是示例，电子设备100可以不包括图像采集装置110。在这种情况下，可以利用其他具有图像采集能力的器件采集图像，并将采集的图像发送给电子设备100。

示例性地，用于实现根据本发明实施例的商品识别方法的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。

下面，将参考图2描述根据本发明实施例的商品识别方法。图2示出根据本发明一个实施例的商品识别方法200的示意性流程图。如图2所示，商品识别方法200包括以下步骤S210、S220、S230和S240。

在步骤S210，获取购物车底部内表面的待处理图像。

图3示出根据本发明一个实施例的购物车上的部分模块的示意图。如图3所示，购物车上可以设置有摄像头、滑块矩阵、电路控制中心、控制系统、图像处理单元等。图3所示仅是示例，本发明并不局限于图3所示的形式，例如，图像处理单元和控制系统可以集成在一起，即图像处理单元的功能和控制系统的功能可以采用同一模块，例如直接采用图像处理单元或控制系统实现。摄像头、图像处理单元、控制系统、电路控制中心以及滑块矩阵依次连接。

滑块矩阵包括多个滑块，其可以设置在购物车底部内表面。当用户将商品放入购物车中时，商品可以置于滑块矩阵上方，即至少部分由滑块矩阵支撑。

示例性地，滑块矩阵可以包括多个滑块机构单元，每个滑块机构单元包括一个滑块，滑块机构单元内的其他部件可以控制滑块的运动。图4示出根据本发明一个实施例的滑块机构单元的立体图以及两个不同方向上的剖视图。参见图4，一个滑块机构单元可以包括电线、电机、凸轮、滑块和滑杆(滑杆未指出)。可以由电机带动凸轮旋转，从而驱动滑杆带动滑块上下运动。可选地，滑块上下运动的最大位移可以设计为至少大于预定距离，例如5cm。可选地，滑块矩阵中的所有滑块的电线可以采用并联电路方式一起连接到电路控制中心。电路控制中心可以用于根据滑块的坐标位置，控制滑块的上下运动。

上述基于凸轮机构实现的滑块结构仅是一种示例。可选地，滑块机构单元可以采用其他合适的结构实现，例如采用现有的曲柄滑块机构、偏心轮机构等来实现。曲柄滑块机构可以包括对心曲柄滑块机构和偏置曲柄滑块结构，滑块机构单元可以从中选择一种实现。采用滑块机构单元的目的是将整周的回转运动转化为直线的往返运动。

目前的购物车从小到大有近10余种型号，例如，从

750mm*450mm*900mm、760mm*530mm*960mm到1060mm*590mm*1020mm。示例性地，可以选取910mm*550mm*1010mm型号的购物车，在购物车底部安装500mm*500mm面积的10*10个滑块的滑块矩阵，每个滑块大小为

50mm*50mm。比较可取的是，滑块的大小和密度能够保证超市中最小的商品也能被顶动。

示例性地，可以在购物车的顶部设置摄像头，用于针对购物车底部内表面采集图像。购物车上设置的摄像头的数目以及位置可以根据需要设定，只需尽量完整地采集到购物车底部内表面的情况即可。购物车底部内表面是滑块矩阵所在的平面，商品可以置于该平面上且不会超出该平面覆盖的范围。

摄像头可以实时地针对其采集区域内的场景进行图像采集，在本发明实施例中，摄像头的采集区域包括购物车底部内表面，因此，摄像头可以实时采集购物车底部内表面的图像(称为待处理图像)。用户将商品放入购物车之后，从摄像头采集的图像上可以识别购物车内的商品，并获知各商品的信息。

在步骤S220，从待处理图像中识别购物车内的商品。

摄像头采集待处理图像之后，可以将待处理图像传送到如图3所示的图像处理单元。图像处理单元可以对待处理图像进行一些图像处理，包括但不限于从待处理图像中检测和识别购物车内的商品。示例性地，可以采用任何合适的现有或将来可能出现的目标检测和识别技术识别购物车内的商品。示例性地，可以基于现有的检测+分类的识别模型，例如Faster-RCNN、R-FCN、YOLO、SSD、RetinaNet等，对待处理图像进行目标检测和识别，获得识别结果。

可选地，图像处理单元还可以对待处理图像进行一些附加处理。在一个示例中，在从待处理图像中识别购物车内的商品之前，可以对待处理图像进行一些预处理，例如归一化、平滑、滤波等操作。在另一个示例中，在从待处理图像中识别购物车内的商品之前，方法200还可以包括：对待处理图像进行图像矫正。由于摄像头拍摄可能会有些角度方面的问题，导致采集获得的待处理图像可能出现畸变，无法正确地体现商品和滑块矩阵的大小、位置等信息，影响利用滑块调整商品位置时的准确性。因此，在商品识别之前，可以利用图像矫正方法对待处理图像进行矫正。图像矫正可以采用现有的或将来可能出现的图像矫正方法实现。例如，可以采用棋盘格标定法，将包含滑块矩阵的待处理图像矫正为标准的网格图像。图5示出根据本发明一个实施例的滑块矩阵对应的平面图，经矫正后的待处理图像中的滑块网格与图5所示的平面图一致。图6示出根据本发明一个实施例的当商品放置于滑块矩阵之上时滑块矩阵对应的平面图。参见图5和6可以理解经矫正的待处理图像的状态。

示例性地，识别结果可以包括与购物车内的至少一个商品相关的、用于指示商品所在位置的边界框的坐标信息以及商品的置信度。置信度是分数，可以用于指示商品识别或说分类的准确度。示例性地，识别结果还可以包括与购物车内的至少一个商品相关的、商品的分类名称(即商品名称)。

图7示出根据本发明一个实施例的商品的识别结果的示意图。如图7所示，每个商品周围示出一个边界框。边界框可以是任意合适的形状，示例性而非限制性地，边界框可以是如图7所示的矩形框。识别结果可以包括一系列(如图7所示的)边界框的坐标信息以及每个边界框相对应的置信度。

在步骤S230，基于识别结果判断购物车内是否存在待分离的商品。

示例性地，方法200还可以包括：如果不存在待分离的商品，则确定商品识别成功。商品识别成功之后，商品识别系统可以执行其他后续步骤，例如商品信息录入，结算等。

示例性地，识别结果包括与购物车内的至少一个商品相关的、用于指示商品所在位置的边界框的坐标信息以及商品的置信度，基于识别结果判断购物车内是否存在待分离的商品(步骤S230)可以包括：如果基于边界框的坐标信息确定存在两个以上商品的边界框具有重叠区域，并且两个以上商品的置信度低于预定阈值，则确定两个以上商品为待分离的商品。

如果商品的置信度高于或等于预定阈值，则该商品可以被很好地识别，在这种情况下，即使其被略微遮挡，也可以无需调整其位置。

如果存在多个商品的置信度较低且它们的边界框存在重叠，则可以认为这些商品可能发生堆叠、遮挡等情况，无法很好地识别，在这种情况下，可以对这些商品的位置进行调整，使它们分散开，以方便各自识别。

基于识别结果，可以逐一判断每个商品所对应的边界框。示例性地，对于任一商品来说，如果分类的置信度足够大时，例如高于某个预定阈值(例如0.9)，则可以认为该边界框的识别结果没有问题，可以对这样的识别结果进行标记。例如，参见图7，示出左上角和右下角的边界框的结果为OK。

如图7所示，在中间区域，发生了多个边界框重叠的情况，且这些边界框的置信度都不高，则可以认为多个商品堆叠在一起了。

判断多个边界框是否重叠可以包括逐一判断两个边界框是否相交，示例性的做法是判断框左上角和右下角坐标的位置关系。例如，假设两个边界框A框和B框，存在如下坐标设置：

A框：left(A0.x,A0.y),right(A1.x,A1.y)

B框：left(B0.x,B0.y),right(B1.x,B1.y)

则当满足以下条件：B1.x>A0.x,B1.y>A1.y,A1.x>B0.x,A1.y>B0.y时，可以确定A框和B框重叠。

通过以上方式可以找出堆叠在一起、难以识别的商品，将其称为待分离的商品。

在步骤S240，如果存在待分离的商品，则控制设置于购物车底部内表面上的滑块矩阵中的至少一个滑块上下运动，以带动待分离的商品运动。

示例性地，在控制设置于购物车底部内表面上的滑块矩阵中的至少一个滑块上下运动(步骤S240)之前，方法200还可以包括：基于待分离的商品所在的位置确定至少一个滑块。可以从滑块矩阵上找出与待分离的商品相对应的滑块，以获得至少一个滑块。示例性地，与待分离的商品相对应的滑块可以是位于待分离的商品正下方的滑块，即从待处理图像上来看，位置与待分离的商品的位置一致的滑块。

示例性地，识别结果可以包括与购物车内的至少一个商品相关的、用于指示商品所在位置的边界框的坐标信息，方法200还可以包括：基于待分离的商品的边界框的坐标信息计算包含待分离的商品的新的边界框；以及确定滑块矩阵上的、与新的边界框所在位置对应的滑块，以获得至少一个滑块。

可以记录待分离的商品的边界框(简称待分离的边界框)的位置，针对每个边界框，可以将其位置记录为如下格式：bb{left,top,right,bottom}。继续参考图7，在图中有5个待分离的边界框，则可以分别记录为bb00,bb01,bb02,b003,b004。

可选地，新的边界框是所述待分离的商品的边界框的最小外界矩形框。例如，可以计算图7所示的5个重叠在一起的待分离的边界框的最小外接矩形，获得新的边界框bb{left,top,right,bottom}，计算公式为left＝min{bb0i.left},top＝min{bb0i.top},right＝max{bb0i.right},bottom＝max{bb0i.bottom}。图8示出根据本发明一个实施例的、基于图7所示的商品的边界框获得新的边界框的示意图。

上述计算新的边界框的方法仅是示例而非限制，新的边界框可以采用其他方式获得，也可以具有其他大小和位置。

滑块矩阵中的滑块可以采用滑块的坐标(x,y}的序列来表示。根据得到的新的边界框，可以找出对应的滑块。图9和图10分别示出根据本发明实施例的基于待分离的商品所确定的至少一个滑块的示意图。如图9和图10所示，与图8所确定的新的边界框所对应的物体重叠区域可以表示为{T1(2,2),T2(3,2),…,T20(5,5)}。

控制系统可以输出控制信号至电路控制中心，以进一步由电路控制中心控制至少一个滑块上下运动。可选地，电路控制中心可以包括在控制系统里，即电路控制中心和控制系统可以视为一个整体。因此，控制系统可以直接或间接控制至少一个滑块上下运动。位于待分离的商品下方的滑块运动，可以带动待分离的商品运动，进而使得它们分散开，避免堆叠。

示例性地，控制信号用于控制至少一个滑块运动一次或多次，其中，至少一个滑块每次按照至少一种运动模式运动。示例性地，至少一个滑块每次运动时，按照当前的运动模式所指示的顺序依次提起。

运动的目标把中间的重叠在一起的多个商品打散，其采用的运动模式可以是任意的。例如，运动模式可以包括：左右之字型，上下之字型，从中心向四周，从中间向两边。图11a-11d分别示出根据本发明实施例的滑块的四种运动模式的示意图。

例如，按照图11a所示的左右之字型模式运动时，可以依次提起以下滑块：T1(2,2),T2(3,2),T3(4,2),T4(5,2),T8(5,3),T7(4,3),…T18(5,3),T19(5,4),T20(5,5)。滑块依次提起，可以将上方的商品顶动，使其分散开。其他运动模式可以参照左右之字型模式的描述进行理解，本文不做赘述。

至少一个滑块的运动可以执行一次或多次，例如2-3次。当至少一个滑块的运动执行多次时，任意两次可以采用相同的运动模式运动，也可以采用不同的运动模式运动。

至少一个滑块的运动停止之后，可以重新对购物车内的商品进行检测和识别，如果这些商品识别返回的置信度都很高，则表明这些商品都能够被正确地识别出来了，如图12和13所示。图12示出根据本发明一个实施例的利用滑块运动带动商品运动之后的商品分布示意图，图13示出根据本发明一个实施例的与图12所示的商品分布相对应的识别结果的示意图。

如果利用滑块运动调整过商品位置之后，商品仍然存在重叠区域，则可以再次控制滑块运动，也就是说，步骤S210-S240可以反复执行。

最后，整个商品识别流程可以总结为：

S1:用户将一堆商品放入购物车；

S2:摄像头采集购物车内的图像，商品识别系统开启商品检测和识别功能，得到一组边界框和对应的置信度；

S3:遍历该组边界框，如果边界框的置信度很高，则认为该边界框识别成功，如果所有边界框的置信度都很高，就认为所有商品均已被识别；

S4:如果边界框的置信度不高，且出现多个边界框重叠，则认为识别不成功；

S5:商品识别系统根据这些重叠边界框的位置，找到对应的滑块区域；

S6：商品识别系统控制滑块区域内的滑块，按照一定运动模式运动，然后转至步骤S2。

图14a示出根据本发明一个实施例的滑块矩阵中的两个滑块提起的示意图。图14b示出根据本发明一个实施例的放置有商品的滑块矩阵的示意图。图14c示出根据本发明一个实施例的滑块提起之后的滑块矩阵以及商品的示意图。本领域技术人员可以参考图14a-14c更好地理解本发明。

根据本发明实施例，当发生堆叠之后，根据摄像头采集的图像确定发生堆叠、模糊、遮挡等需要分离的区域，购物车可以通过安装在其上的能够上下运动的滑块矩阵，自动地将该区域的商品顶下来，从而将重叠部分的商品打散开，将待识别的商品凸现出来，从而让摄像头能够更清楚地采集其图像。当然，也可以控制某一区域的所有滑块摆成特定的形状从而方便将重叠在一起的商品分散开来，方便更好地识别，或者针对小的商品，可以将其凸现出来以方便识别。这种商品识别方法可以实现购物车的智能化、自动化控制，有助于实现高效、准确、快速的商品识别，可以大大提升用户体验。

示例性地，根据本发明实施例的商品识别方法可以在具有存储器和处理器的设备、装置或者系统中实现。

根据本发明实施例的商品识别方法可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。

替代地，根据本发明实施例的商品识别方法还可以分布地部署在服务器端和客户端处。例如，可以在客户端采集图像，客户端将获取的图像传送给服务器端(或云端)，由服务器端(或云端)进行商品识别。

根据本发明另一方面，提供一种商品识别装置。图15示出了根据本发明一个实施例的商品识别装置1500的示意性框图。

如图15所示，根据本发明实施例的商品识别装置1500包括获取模块1510、识别模块1520、判断模块1530和控制模块1540。所述各个模块可分别执行上文中结合图2-14c描述的商品识别方法的各个步骤/功能。以下仅对该商品识别装置1500的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。

获取模块1510用于获取购物车底部内表面的待处理图像。获取模块1510可以由图1所示的电子设备中的处理器102运行存储装置103中存储的程序指令来实现。

识别模块1520用于从所述待处理图像中识别所述购物车内的商品。识别模块1520可以由图1所示的电子设备中的处理器102运行存储装置103中存储的程序指令来实现。

判断模块1530用于基于识别结果判断所述购物车内是否存在待分离的商品。判断模块1530可以由图1所示的电子设备中的处理器102运行存储装置103中存储的程序指令来实现。

控制模块1540用于如果存在待分离的商品，则控制设置于所述购物车底部内表面上的滑块矩阵中的至少一个滑块上下运动，以带动所述待分离的商品运动。控制模块1540可以由图1所示的电子设备中的处理器102运行存储装置103中存储的程序指令来实现。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

根据本发明另一方面，提供一种购物车。购物车包括：摄像头，用于采集购物车底部内表面的待处理图像；处理器，用于从所述待处理图像中识别所述购物车内的商品，基于识别结果判断所述购物车内是否存在待分离的商品，并且如果存在待分离的商品，则输出控制信号；滑块矩阵，设置于所述购物车底部内表面，所述滑块矩阵用于基于所述控制信号的控制使所述滑块矩阵中的至少一个滑块上下运动，以带动所述待分离的商品运动。

返回参见图3，示出了购物车包括的摄像头、滑块矩阵。示例性地，处理器可以包括如图3所示图像处理单元和控制系统。

上文在描述商品识别方法200时，已经描述了购物车包括的摄像头、处理器、滑块矩阵等部件的结构以及工作方式，本领域技术人员可以参考上文描述理解购物车的实现方式以及优点等，在此不再赘述。

示例性地，所述购物车还包括：电路控制中心，分别与所述处理器和所述滑块矩阵连接，用于接收所述控制信号，并基于所述控制信号控制所述滑块矩阵中的所述至少一个滑块上下运动。

图16示出了根据本发明一个实施例的商品识别系统1600的示意性框图。商品识别系统1600包括图像采集装置1610、存储装置1620、以及处理器1630。

所述图像采集装置1610用于采集图像。所述图像采集装置1610是可选的，商品识别系统1600可以不包括所述图像采集装置1610。在这种情况下，可以采用其他单独的图像采集装置采集图像。

所述存储装置1620存储用于实现根据本发明实施例的商品识别方法中的相应步骤的计算机程序指令。

所述处理器1630用于运行所述存储装置1620中存储的计算机程序指令，以执行根据本发明实施例的商品识别方法的相应步骤。

在一个实施例中，所述计算机程序指令被所述处理器1630运行时用于执行以下步骤：获取购物车底部内表面的待处理图像；从所述待处理图像中识别所述购物车内的商品；基于识别结果判断所述购物车内是否存在待分离的商品；以及如果存在待分离的商品，则控制设置于所述购物车底部内表面上的滑块矩阵中的至少一个滑块上下运动，以带动所述待分离的商品运动。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的商品识别方法的相应步骤，并且用于实现根据本发明实施例的商品识别系统中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。

在一个实施例中，所述程序指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本发明实施例的商品识别的各个功能模块，并和/或者可以执行根据本发明实施例的商品识别方法。

在一个实施例中，所述程序指令在运行时用于执行以下步骤：获取购物车底部内表面的待处理图像；从所述待处理图像中识别所述购物车内的商品；基于识别结果判断所述购物车内是否存在待分离的商品；以及如果存在待分离的商品，则控制设置于所述购物车底部内表面上的滑块矩阵中的至少一个滑块上下运动，以带动所述待分离的商品运动。

根据本发明实施例的商品识别系统中的各模块可以通过根据本发明实施例的实施商品识别的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的商品识别装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种商品识别方法，包括：

获取购物车底部内表面的待处理图像；

从所述待处理图像中识别所述购物车内的商品；

基于识别结果判断所述购物车内是否存在待分离的商品；以及

如果存在待分离的商品，则控制设置于所述购物车底部内表面上的滑块矩阵中的至少一个滑块上下运动，以带动所述待分离的商品运动。

2.如权利要求1所述的方法，其中，所述识别结果包括与所述购物车内的至少一个商品相关的、用于指示商品所在位置的边界框的坐标信息以及商品的置信度，所述置信度用于指示商品识别的准确度，其中，

所述基于识别结果判断所述购物车内是否存在待分离的商品包括：

如果基于边界框的坐标信息确定存在两个以上商品的边界框具有重叠区域，并且所述两个以上商品的置信度低于预定阈值，则确定所述两个以上商品为所述待分离的商品。

3.如权利要求1所述的方法，其中，在所述控制设置于所述购物车底部内表面上的滑块矩阵中的至少一个滑块上下运动之前，所述方法还包括：

基于所述待分离的商品所在的位置确定所述至少一个滑块。

4.如权利要求3所述的方法，其中，所述识别结果包括与所述购物车内的至少一个商品相关的、用于指示商品所在位置的边界框的坐标信息，所述方法还包括：

基于所述待分离的商品的边界框的坐标信息计算包含所述待分离的商品的新的边界框；以及

确定所述滑块矩阵上的、与所述新的边界框所在位置对应的滑块，以获得所述至少一个滑块。

5.如权利要求4所述的方法，其中，所述新的边界框是所述待分离的商品的边界框的最小外界矩形框。

6.如权利要求1所述的方法，其中，所述控制设置于所述购物车底部内表面上的滑块矩阵中的至少一个滑块上下运动包括：

控制所述至少一个滑块运动一次或多次，其中，所述至少一个滑块每次按照至少一种运动模式运动。

7.如权利要求6所述的方法，其中，所述至少一个滑块每次运动时，按照当前的运动模式所指示的顺序依次提起。

8.如权利要求1所述的方法，其中，在所述从所述待处理图像中识别所述购物车内的商品之前，所述方法还包括：

对所述待处理图像进行图像矫正。

9.一种商品识别装置，包括：

获取模块，用于获取购物车底部内表面的待处理图像；

识别模块，用于从所述待处理图像中识别所述购物车内的商品；

判断模块，用于基于识别结果判断所述购物车内是否存在待分离的商品；以及

控制模块，用于如果存在待分离的商品，则控制设置于所述购物车底部内表面上的滑块矩阵中的至少一个滑块上下运动，以带动所述待分离的商品运动。

10.一种购物车，包括：

摄像头，用于采集对购物车底部内表面的待处理图像；

处理器，用于从所述待处理图像中识别所述购物车内的商品，基于识别结果判断所述购物车内是否存在待分离的商品，并且如果存在待分离的商品，则输出控制信号；

滑块矩阵，设置于所述购物车底部内表面，所述滑块矩阵用于基于所述控制信号的控制使所述滑块矩阵中的至少一个滑块上下运动，以带动所述待分离的商品运动。

11.如权利要求10所述的购物车，其中，所述购物车还包括：

电路控制中心，分别与所述处理器和所述滑块矩阵连接，用于接收所述控制信号，并基于所述控制信号控制所述滑块矩阵中的所述至少一个滑块上下运动。

12.一种商品识别系统，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至8任一项所述的商品识别方法。

13.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行如权利要求1至8任一项所述的商品识别方法。

Images