CN111539468B - 一种自动售卖设备的货物清点方法 - Google Patents

Abstract

本发明涉及一种自动售卖设备的货物清点方法，包括：设置在自动售卖设备货架后方的移动单元在水平和垂直方向移动，使得连接在其上的平台在所述货道的后方对准一个货道；设置在所述平台上的多个视觉模块分别取得该货道的物品图像和深度图像；分别对所述物品图像和所述深度图像进行处理，得到所述货道上放置的物品名称和物品数量；判断所述自动售卖设备的所有货道是否都已清点，如是，汇总本次清点数据得到当前货物清单；如否，按照设定规则选择下一货道，重复上述步骤。实施本发明的一种自动售卖设备的货物清点方法，具有以下有益效果：其花费时间较少、可靠程度较高、不易出错。

Description

一种自动售卖设备的货物清点方法

技术领域

本发明涉及售卖设备领域，更具体地说，涉及一种自动售卖设备的货物清点方法。

背景技术

自动售卖设备通常包括设置在柜体内的一个或多个货架，每个货架又由多个货道组成，每个货道上有多个货位放置商品，一个货道上通常放置同一种商品；货道通常使用弹簧旋转或传送带的方式将其上放置货物推出货道，实现商品的售出。自动售卖设备上通常有一个触摸显示屏，触摸显示屏上展示该自动售卖设备当前可售卖的商品图，用户点击选择需要购买的商品并完成支付后，该自动售卖设备将对应货道上的商品推出，这样就完成了一次商品的售卖流程。由此可知，为了正确地将当前能够出售的物品显示，自动售卖设备需要事先知道商品的正确的库存和商品所在货道的信息，才能根据用户选择的商品确定商品所在的货道并完成出货。而自动售卖设备中的库存信息在现有技术中通常会在补货员完成补货时进行由其手动输入更新。这就带来一个问题，如果补货员更新的库存信息不正确，用户在使用自动售卖设备购买商品时，就可能会遇到自动售卖设备出错货甚至是不出货的情况。而在涉及众多商品种类和数量的情况下，补货员正确输入其补入的货品名称和数量，一方面需要花费较多的时间，另外一方面其出错的可能性非常大。因此，现有的自动售卖设备的货物清点方法不仅花费较多的时间，而且其可靠程度也较低。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述费时、可靠程度较低、较易出错的缺陷，提供一种花费时间较少、可靠程度较高、不易出错的一种自动售卖设备的货物清点方法。

本发明解决其技术问题所采用的技术方案是：构造一种自动售卖设备的货物清点方法，所述自动售卖设备包括货架和设置在所述货架上的多个货道，所述货道用于摆放售卖的商品并将其上放置的商品逐个输送出该货道；所述货物清点方法包括如下步骤：

A)在所述自动售卖设备的控制单元的控制下，设置在所述货架后方的移动单元在水平和垂直方向移动，使得连接在其上的平台在所述货道的后方对准一个货道；

B)设置在所述平台上的多个视觉模块分别取得该货道上放置物品的物品图像和该货道的像素中存入摄像头到感知场景距离的深度图像；

C)分别对所述物品图像和所述深度图像进行处理，得到所述货道上放置的物品名称和物品数量；

D)判断所述自动售卖设备的所有货道是否都已清点，如是，汇总本次清点数据得到当前货物清单；如否，按照设定规则选择下一货道，并返回步骤A)。

更进一步地，所述平台上设置有视觉模块，所述视觉模块包括分别用于取得所述货道上商品图像的RGB摄像头和用于取得货道深度图像的深度摄像头；所述视觉模块安装在所述平台一侧，使得其摄像头和所述货道形成设定的夹角。

更进一步地，所述步骤A)中，通过设置在本地的货道参数数据库中取得一个货道的水平和垂直坐标，并将所述平台移动到该坐标点上，使得所述平台对准该货道；所述坐标是相对于所述移动单元的原点的水平和垂直坐标。

更进一步地，所述货道参数数据库通过在所述自动售卖设备上的人机交互界面输入、通过总线接口烧录或通过网络由服务器端下载而建立在本地；所述货道参数数据库包括货道位置、货道宽度、货道长度及货道的货位长度。

更进一步地，所述步骤C)中，将取得的所述物品图像上传到服务器端，通过在所述服务器上使用基于深度学习的图像识别技术，在商品图片数据库中进行图像对比，找到相似度高于设定阈值的所有商品图像，选择相似度最高的一个商品作为所述物品图像对应的商品；并将该商品的名称、代码和尺寸参数返回所述自动售卖设备。

更进一步地，所述商品图像数据库包括自动售卖设备能够出售的所有商品的图片、名称和尺寸参数；一个商品的图片包括对于该商品由其正面、侧面或后面的多个设定角度拍照取得的多幅图片。

更进一步地，所述步骤C)中，对深度图像进行处理包括：将所述深度图像转换为点云图，经过对所述点云图的处理，得到表示该货道放置了物品的部分的长度的货道深度，并结合该货道上放置物品的尺寸参数，得到该货道上放置的该物品的数量。

更进一步地，对深度图像进行处理进一步包括：

将取得的所述深度图像转换为点云图；

对得到的点云图进行直通滤波，得到货道的点云图；

对得到的货道的点云图进行体素格滤波，使其点的密度更为均匀；

由经过处理后的货道点云图得到该货道上的商品点云图，求其质心坐标，所述质心坐标的z轴坐标即为深度摄像头到该货道商品的距离；

用上述深度摄像头到该货道商品的距离减去该深度摄像头到货道的距离得到当前货道深度值；

由所述货道深度和放置在该货道上商品的单个上尺寸，得到货道上的商品数量。

更进一步地，所述自动售卖设备在检测到其前门被打开，且被再次关闭后，使用所述货物清点方法，得到当前货物清单；将该当前货物清单和在所述前门打开之前的库存清单比较，并减去原先库存的物品数量，得到补货清单。

更进一步地，还包括如下步骤：将所述补货清单输出，显示在所述自动售卖设备的显示屏或与该自动售卖设备连接的设备的显示屏上，待操作人员确认后，用所述货物清单更新所述自动售卖设备的库存清单，并保存所述补货清单。

实施本发明的一种自动售卖设备的货物清点方法，具有以下有益效果：由于通过移动单元将平台逐个对准该自动售货设备的货道，使得平台上的视觉模块能够分别取得该货道上的RGB图像和深度图像，这就使得后续的处理中能够分别依据上述RGB图像判断出货道上的货物类型或名称，并依据深度图像得到货道上的货物的数量，从而得到当前各货道上货物的清单，进而能够得到本次补货的清单，当清单显示在显示屏上时，补货人员只需要进行检查、核对和确认即可，不需要逐一输入补入的货物名称或数量；同时，上述移动单元设置在货架之后，不会对货架前方的已经存在的门或取物结构带来任何影响，也便于推广使用。因此，其花费时间较少、可靠程度较高、不易出错。

附图说明

图1是本发明一种自动售卖设备的货物清点方法实施例中货物清点方法的流程图；

图2是所述实施例中由RGB图像识别货物的具体步骤流程图；

图3是所述实施例中由深度图像识别货物数量的具体流程图。

具体实施方式

下面将结合附图对本发明实施例作进一步说明。

如图1所示，在本发明的一种自动售卖设备的货物清点方法实施例中，所述自动售卖设备通常用于自动售卖体积较小的、存储时间较长的物品，例如，饮料等；其通常设置有显示屏用于显示本设备当前能够售卖的货物种类、名称、价格或数量。该自动售卖设备通常包括一个柜体，柜体前方设置有一通常包括透明部分的门，便于使用者能够看到设置在柜体内部的货架、设置在所述货架上的多个货道以及摆放在上述货道上的商品。该柜体的前门在售卖物品时并不打开，仅仅是在补货时由管理者打开，并在放入货物完成后关闭。用户通常是用于取物口取得购买的物品，所述货道用于摆放售卖的商品并将其上放置的商品逐个输送出该货道，使其进入取物口或通过移动小车进入取物位置。在现有技术中，通常书管理者放入货物后采用人工的方式输入放入的货物种类名称和数量，得到补货清单。然后将补货清单和现有的货物清单合并或相加，得到当前该设备的货物清单，也就是当前该设备能够售出的货物种类和数量。但是这种方法的缺点是非常明显的，除了需要较长的时间输入外，操作人员还非常容易出错。为此，本发明采用自动的方式清点货物并得到当前货物清单，基本不需要人工输入，故其花费时间少且不易出错。在本实施例中，如图1所示，所述货物清点方法包括如下步骤：

步骤S11移动单元使平台对准选择的货道：在本步骤中，在所述自动售卖设备的控制单元的控制下，设置在所述货架后方的移动单元在水平和垂直方向移动，使得连接在其上的平台在所述货道的后方对准一个选择的货道。本步骤中的货道是事先选择的一个货道，其位置是已知的，控制单元只要控制上述移动单元移动到指定位置即可。该指定位置是由该货道的坐标决定的。在本实施例中，通过设置在本地的货道参数数据库中取得一个货道的水平和垂直坐标，使得移动单元将连接或安装在其上的所述平台移动到该坐标点上，使得所述平台对准该货道；所述坐标是相对于所述移动单元的原点的水平和垂直坐标。

而所述货道参数数据库通过在所述自动售卖设备上的人机交互界面输入、通过总线接口烧录或通过网络由服务器端下载而建立在本地；所述货道参数数据库包括货道位置、货道宽度、货道长度及货道的货位长度。在上述货道参数数据库建立后，只要知道选择的货道编号或标记，就能够通过查找上述货道参数数据库迅速得到该货道的坐标，这样，控制单元就能够根据该坐标值使得上述移动单元在水平方向和垂直方向移动，使得其上连接的平台达到上述对准货道的位置。在本实施例中，开始清点第一个货道或控制单元使得移动单元对准第一个货道时，该移动单元是由其初始点或原点出发的；而上述货道参数数据库中所有货道的坐标都是相对于上述原点的水平距离或垂直距离。因此，在清点第一个货道时，移动单元使得其上的平台的移动距离就是该货道的坐标值；而对于后续的货道对准的步骤，则不需要使得移动单元返回原点，只是需要将目标货道的坐标减去当前平台所在位置的坐标(即当前已清点的货道的坐标)即可。在清点完该自动售卖设备的所有货道后，上述移动单元将会自动返回原点，准备下一次货物清点。这样的方式既能够节省操作时间，又能够使得移动误差不至于积累太多，能够保证移动单元移动的准确性。

值得一提的是，在本实施例中，上述移动单元是设置在货架的后方(即与货道推出货物的前方相对的一面)的，也就是设置在上述自动售卖设备的货架和后面板之间的一个单独的结构，其与该自动售卖设备的取物结构并不相关。这种设置可以使得该自动售卖设备的箱门和货架之间的结构较为简单，且不会对该自动售卖设备的补货、取物等等带来不利的影响。在本实施例中，上述移动单元可以和现有的自动售卖设备中用于在货道的出口接受该货道推出的货物并将其运送到取物口的取物小车中的移动部分的结构相同或类似，并在其上设置有安装有视觉模块的平台。

步骤S12平台上的视觉模块取得该货道的物品图像和深度图像：在本步骤中，设置在所述平台上的多个视觉模块分别取得该货道上放置物品的物品图像和该货道的像素中存入摄像头到感知场景距离的深度图像。具体来讲，在本实施例中，上述平台上安装有视觉模块，该视觉模块用于取得平台对准的货道的图像，该视觉模块包括安装在不同位置的RGB摄像头和深度摄像头，RGB摄像头取得该货道(包括货道上的物品)的物品图像，该图像的像素中带有色彩信息；而深度摄像头取得该货道(包括货道上的物品)的深度图像，该深度图像和物品图像的不同之处在于其像素中带有该摄像头到感知场景的距离。上述两个摄像头安装在上述平台上的适当的位置，以满足其安装要求，例如，深度摄像头要求能够拍摄到该货道的全部或整个货道，而RGB摄像头则需要能够清楚地拍摄到货道上的物品。

步骤S13分别由取得的物品图像和深度图像得到放置在该货道上的物品名称额数量：在本步骤中，分别对所述物品图像和所述深度图像进行处理，得到所述货道上放置的物品名称和物品数量；具体来讲，是通过对物品图像的处理，得到该货道上摆放物体的名称、型号等具体参数，即对于摆放在货道上的物品的识别。这一步骤是通过将经过适当处理后的物品图像上传到服务器，然后在服务器中的图像数据库中进行对比，找到适配的图像，然后得到该图像对应的物品来实现的。在一些情况下，该图像数据库可能在该自动售卖设备上就存在或者是该图像数据库存在于与该自动售卖设备连接的终端上，此时，则不需要将物品图像上传到服务器，直接在该自动售卖设备上就能够进行对比或者将上述物品图像传输到该终端即可进行对比，对比后将结果返回即可。

步骤S14所有货道都已清点否，如是，执行步骤S16；否则，执行步骤S15。在本步骤中，判断本次清点是否已经将该自动售卖设备具有的货道全部遍历一遍。通过一个简单的比较就能够实现，例如，已知该设备具有的货道数量，如果本次清点已经进行清点的货道数量不大于该已知货道数量，则判断为未遍历所有货道。

步骤S15选择一个还未清点的货道：在本步骤中，按照设定规则选择下一货道，并返回步骤S11。本步骤中的设定规则是事先设定的，通常是选择一个与当前清点的货道比较，只需要在一个方向上移动的相邻货道，例如，只需要在水平方向或垂直方向移动，而保持另外一个方向上不用移动。这样不仅使得移动带来的累计误差较小，而且在两次清点之间的移动时间较短。

步骤S16得到当前货物清单：在本步骤中，由于该自动售卖设备上的所有货道均已经清点，只需要汇总本次清点数据得到当前货物清单。值得一提的是，上述清点过程虽然由于实施清点的设备或装置是独立安装在上述货架后方的，所以也可以在通常的使用或设备闲置时出现，作为一种验证当前库存物品的检验手段，但是大多数情况下，上述清点通常发生在补货员对该自动售卖设备进行补货后，用来得到当前货物清单，并因此而得到补货清单。补货清单的得到也较为简单，在得到上述货物清单之后，将其与补货前的库存清单比较，就能得到补货清单。而对于现有的自动售卖设备而言，补货有一个非常明显的标志，就是该自动售卖设备的前门打开，并在维持打开状态一段时间之后关闭。也就是说，如果系统检测到前门的上述状态后，就能够判断该自动说卖设备已经进行料补货，从而可以开始上述清点方法，得到补货清单。

在本实施例中，所述平台上设置有视觉模块，所述视觉模块由用于取得所述货道上商品图像的RGB摄像头和用于取得货道深度图像的深度摄像头组成；所述视觉模块安装在所述平台一侧，使得其摄像头和所述货道形成设定的夹角。在本实施例中，上述RGB摄像头和深度摄像头均为独立的组件，其取得的图像数据也是分别进行处理。仅仅只是在处理后分别得到相关数据，例如，货物名称或数量，再将相关数据汇总到一起，得到该货道上的货物参数，最后得到货物清单。同时，在本实施例中上述深度摄像头可以采用现有的深度摄像头中的任何一种。

值得一提的是，在本实施例中，所述平台在清点一个货道时，停留在对准该货道的位置的时间是设定的，该停留时间能够保证正确地取得该货道上的图像即可。当确认取得该货道的图像后，就可以执行是否遍历所有货道的判断，开始向下一个货道移动；而在本实施例中涉及的上述步骤，例如，商品种类的判断、商品数量的判断等等，可以在上述平台的移动过程中进行，也可以完全交由后台运行。但是不管哪种情况，这些步骤始终是按照上述顺序逐个货道进行的。换句话说，在这种情况下，上述步骤S14也可能在步骤S13之前就执行了或者说与上述步骤S13并行执行。这种设置的好处是能够进一步节省整个清点或巡检的时间，使得清点的效率更高。

在图2中，示出了在本实施例中的一种情况下，由上述RGB图像取得商品或货物名称、包装参数的一种具体方法。在图2中包括如下步骤：

步骤S21上传RGB图像到服务器：在本步骤中，将取得的所述物品图像上传到服务器端，该服务器端可以通过网络和该自动售卖设备连接，也可以通过该自动售卖设备的接口和其连接，该服务器端上设置有商品图片数据库，其中有该自动售卖设备可能售卖的商品或货物的多个角度的图片，以及这些图片表示的商品名称、型号和包装参数。该商品图片数据库包括事先在不同的角度，例如正面、背面、左后侧45度、右前侧45度等等，取得的商品图片和该商品的名称、条码和单个商品的包装尺寸(例如，单个该商品的长宽高尺寸)等等的对应关系；一个商品的图片包括在上述不同的角度取得的多张图片。这样，上传的RGB图像一旦在该商品图片数据库找到对应的图片，就能够得到该图片对应的商品的名称、条码和单个商品的包装尺寸等商品参数。

步骤S22在商品图片数据库中比较上述RGB图像：在本步骤中，使用基于深度学习的图像识别技术，在商品图片数据库中进行图像对比，查找相似度高于设定阈值的所有商品图像。

步骤S23得到至少一个相似的商品：在步骤中，通过上述查找和比较，得到至少一个与上传的RGB图像的相似度超过设定阈值的图片。在得到多于一个图片的情况下，还需要比较这些图片和上传的RGB图像的相似度的大小。

步骤S24选择相似程度最高的一个商品作为判断结果，并得到其包装参数：在本步骤中，选择相似度最高的一个商品作为所述物品图像(即上传的RGB图像)对应的商品；并将该商品的名称、代码和尺寸参数(例如，单个该商品的长宽高尺寸)返回所述自动售卖设备。

与此同时，在本实施例中，还对深度图像进行处理，该处理包括将所述深度图像转换为点云图，经过对所述点云图的处理，得到表示该货道放置了物品的部分的长度的货道深度，并结合该货道上放置物品的尺寸参数，得到该货道上放置的该物品的数量。图3示出了在本实施例中一种情况下由得到的深度图像数据得到该货道上的商品或货物数量的具体方法，包括：

步骤S31将深度图像转换为点云图：在本步骤中，将取得的所述深度图像转换为点云图；

步骤S32得到货道的点云图：在本步骤中，对得到的点云图进行直通滤波，得到货道的点云图；

步骤S33对货道的点云图进行体素格滤波：在本步骤中，对得到的货道的点云图进行体素格滤波，使其点的密度更为均匀；

步骤S34得到商品点云图，并求得其质心：在本步骤中，由经过处理后的货道点云图得到该货道上的商品点云图，求其质心坐标，所述质心坐标的z轴坐标即为深度摄像头到该货道商品的距离；

步骤S35得到当前货道的深度值：在本步骤中，用上述深度摄像头到该货道商品的距离减去该深度摄像头到货道的距离得到当前货道深度值；

步骤S36由货道深度值和货道上商品包装参数，得到货道上的商品数量：在本步骤中，由所述货道深度和放置在该货道上商品的单个上尺寸，得到货道上的商品数量。

在本实施例中，总体上来看，深度摄像头获取的原始图像为深度图像，相较于在像素值中存入色彩数据的RGB图像，深度图像则是在像素值中存入摄像头到感知场景中的距离数据。为了计算和处理的方便，需要先将深度图像转换成点云图。点云图是一系列点的三维坐标的集合。大多数的深度摄像头本身就能够实现深度图像转换为点云图的功能，甚至可以直接提供转换完成的点云图。对于不提供点云图转换功能的摄像头也可以通过结合相机内参完成深度图像到点云图的转换，现有技术中有成熟的技术方案，这里不再赘述。

在本实施例中，通过货道参数数据库获取当前货道宽度和货道长度信息，并将其作为直通滤波器的参数，对上述的点云图数据进行直通滤波处理，以便于过滤货道范围以外的点云数据。通过直通滤波处理后得到的就是当前货道的点云图数据。由于目的在于测量补货后的货道深度信息，而深度摄像头的视场角即深度摄像头的感知范围通常会比售卖机狭长的货道大得多，因此原始的点云图中存在大量的无用点云数据，通过直通滤波器提取出货道的点云数据可以降低后续处理的运算量和复杂度。

由于深度摄像头技术的限制，点云图中点的密度会随离摄像头距离的增加而降低，也就是点云图中点的密度是不均匀的。因此需要对上述处理后的点云图数据进行体素格滤波使得在不改变点云形状特征的情况下让点的密度更均匀。

在本实施例中的一些情况下，如果货道使用的是弹簧货道(即使用螺旋状弹簧将货物在该货道上移动)，可以使用欧几里得聚类分割法对上述处理后的点云进行分割，分割后可得到一个或多个的弹簧点云图和一个商品点云图，由于弹簧体积小因此形成的点云也会较少，根据这个特性对分割后的点云图按规模进行排序即可提取出商品的点云图。

然后对商品点云图求取质心坐标，质心坐标中的z轴坐标即为深度摄像头到货道商品的距离，该距离减去深度摄像头与货道的距离即为当前货道的深度值。

上述步骤中的直通滤波器、体素格滤波、欧几里得聚类分割法和质心求取的具体方法在控制系统的点云库(例如，PCL点云库)中提供了具体的实现方法，本实施例中使用PCL提供的方法完成上述步骤处理。

在本实施例中，所述自动售卖设备在检测到其前门被打开，且被再次关闭后，使用上述货物清点方法，得到当前货物清单；将该当前货物清单和在所述前门打开之前的库存清单比较，并减去原先库存的物品数量，得到补货清单。在得到上述的补货清单之后，在本实施例中，还可以包括如下步骤：将所述补货清单输出，显示在所述自动售卖设备的显示屏或与该自动售卖设备连接的设备的显示屏上，待操作人员确认后，用所述货物清单更新所述自动售卖设备的库存清单，并保存所述补货清单。

更具体而言，在本实施例中，将商品图片识别的商品信息与售卖机本地库存信息比较，即可知道货道中补入的商品与货道预先设定的商品品类是否匹配，也就能获得补货是否正确的信息；对于商品数量的推算，由于同一个货道中每个货位的大小都是相同的(一个货道上放置的商品是相同的，其单个商品的包装尺寸也是相同的)，可以按照下述公式计算即可获得当前货道的商品数：

空闲货位数＝货道深度值÷货位长度

当前货道商品数＝货道货位数–空闲货位数

由于其中的货道深度值由上述步骤中计算得出，货位长度和货道货位数可从货道参数数据库中得到，于是能够得到当前货道上的商品数量。

在本实施例中，通过比较售卖机本地库存数据库和当前货道上的商品数计算出本次的补货数量，同时也可以得到货道是否补满的信息。当该自动售卖设备的所有货道被巡检或清点完毕后，能够得到统计补货数量、货道是否补满、补货是否正确等信息，然后生成补货统计信息并在售卖机的显示屏上展示出来等待补货员确认。

补货人员对于上述显示的补货清单或补货统计信息的确认过程也是一个修正错误的过程，基本上来说，在本实施例中，在补货人员确认该清单时可能出现或面临以下几种情况：

全部货道商品都补满，而且不存在补错货的情况，此时补货员确认补货统计信息与实际补货情况相符后系统自动完成售卖机库存信息的更新，也就完成了一次补货操作。

补货时还会出现补货员携带的商品数量不足，导致不能一次性补满售卖机中的全部商品，生成的补货统计信息就会提示货道未补满，补货员对补货统计信息确认后也能完成售卖机库存信息的更新。

如果补货时发生补错货的情况，即在货道A中放入了商品B的情况，在货道完成巡检生成补货统计信息后，补货员可以从补货统计信息中获得货道A补货不正确的信息，此时补货员可以及时地更正货道A的补货商品。

另外还可能有需要变更货道售卖商品品类的情况，出现这种情况时补货员只需要对变更的货道补入新的商品，由于货道品类发生了变更，生成的补货统计信息中会提示补货品类不一致的信息，此时补货员同样确认补货统计信息无误后系统会自动更新售卖机库存信息，将有变更的货道的品类更新为新的商品品类。

通过实现上述方法，可以使得补货完成后系统使用图像识别和机器视觉技术自动完成补货品类和补货数量的统计，不再需要补货员人工记录统计补货信息；补货员只需确认补货统计信息系统就能自动完成售卖机库存信息的录入和更新，相较传统售卖机人工更新库存信息更加地可靠和快捷；同时其具有较强的适用性，不仅适用于常规的补货操作，也适用于货道品类需要变更的补货操作，即补货员进行补货并且需要变更一个或多个货道的售卖商品品类时，其补货流程与常规的补货流程一样，补货员只需向货道放入补货商品然后确认补货统计信息就能完成库存信息中商品数量及货道品类的变更。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种自动售卖设备的货物清点方法，所述自动售卖设备包括货架和设置在所述货架上的多个货道，所述货道用于摆放售卖的商品并将其上放置的商品逐个输送出该货道；其特征在于，所述货物清点方法包括如下步骤：

A）在所述自动售卖设备的控制单元的控制下，设置在所述货架后方的移动单元在水平和垂直方向移动，使得连接在其上的平台在所述货道的后方对准一个货道；

B）设置在所述平台上的多个视觉模块分别取得该货道上放置物品的物品图像和该货道的像素中存入摄像头到感知场景距离的深度图像；

C）分别对所述物品图像和所述深度图像进行处理，得到所述货道上放置的物品名称和物品数量；

D）判断所述自动售卖设备的所有货道是否都已清点，如是，汇总本次清点数据得到当前货物清单；如否，按照设定规则选择下一货道，并返回步骤A）；

其中，将取得的所述物品图像上传到服务器端，通过在所述服务器上使用基于深度学习的图像识别技术，在商品图片数据库中进行图像对比，找到相似度高于设定阈值的所有商品图像，选择相似度最高的一个商品作为所述物品图像对应的商品；并将该商品的名称、代码和尺寸参数返回所述自动售卖设备；将所述深度图像转换为点云图，通过货道参数数据库获取当前货道宽度和货道长度信息，并将其作为直通滤波器的参数，对上述的点云图数据进行直通滤波处理，得到当前货道的点云图；经过对所述点云图的处理，得到表示该货道放置了物品的部分的长度的货道深度，并结合该货道上放置物品的尺寸参数，得到该货道上放置的该物品的数量。

2.根据权利要求1所述的自动售卖设备的货物清点方法，其特征在于，所述平台上设置有视觉模块，所述视觉模块包括分别用于取得所述货道上商品图像的RGB摄像头和用于取得货道深度图像的深度摄像头；所述视觉模块安装在所述平台一侧，使得其摄像头和所述货道形成设定的夹角。

3.根据权利要求1所述的自动售卖设备的货物清点方法，其特征在于，所述步骤A）中，通过设置在本地的货道参数数据库中取得一个货道的水平和垂直坐标，并将所述平台移动到该坐标点上，使得所述平台对准该货道；所述坐标是相对于所述移动单元的原点的水平和垂直坐标。

4.根据权利要求3所述的自动售卖设备的货物清点方法，其特征在于，所述货道参数数据库通过在所述自动售卖设备上的人机交互界面输入、通过总线接口烧录或通过网络由服务器端下载而建立在本地；所述货道参数数据库包括货道位置、货道宽度、货道长度及货道的货位长度。

5.根据权利要求1所述的自动售卖设备的货物清点方法，其特征在于，所述商品图像数据库包括自动售卖设备能够出售的所有商品的图片、名称和尺寸参数；一个商品的图片包括对于该商品由其正面、侧面或后面的多个设定角度拍照取得的多幅图片。

6.根据权利要求1所述的自动售卖设备的货物清点方法，其特征在于，对深度图像进行处理进一步包括：

将取得的所述深度图像转换为点云图；

对得到的点云图进行直通滤波，得到货道的点云图；

对得到的货道的点云图进行体素格滤波，使其点的密度更为均匀；

由经过处理后的货道点云图得到该货道上的商品点云图，求其质心坐标，所述质心坐标的z轴坐标即为深度摄像头到该货道商品的距离；

用上述深度摄像头到该货道商品的距离减去该深度摄像头到货道的距离得到当前货道深度值；

由所述货道深度和放置在该货道上商品的单个上尺寸，得到货道上的商品数量。

7.根据权利要求1所述的自动售卖设备的货物清点方法，其特征在于，所述自动售卖设备在检测到其前门被打开，且被再次关闭后，使用所述货物清点方法，得到当前货物清单；将该当前货物清单和在所述前门打开之前的库存清单比较，并减去原先库存的物品数量，得到补货清单。

8.根据权利要求7所述的自动售卖设备的货物清点方法，其特征在于，还包括如下步骤：将所述补货清单输出，显示在所述自动售卖设备的显示屏或与该自动售卖设备连接的设备的显示屏上，待操作人员确认后，用所述货物清单更新所述自动售卖设备的库存清单，并保存所述补货清单。