CN115880626A - 一种缺货检测和补货方法和系统 - Google Patents

Abstract

本申请公开了一种缺货检测和补货方法和系统，该方法包括以下步骤：第一机器人在从货架对应的巡检起点运动到巡检终点的过程中，对货架上的商品进行拍摄，得到货架图像；第一机器人对货架图像进行排面检测和商品识别，将缺货商品的名称、缺货率和补货位置发送给后台服务器；后台服务器根据缺货商品的缺货率、需要执行补货操作的商品的总数量和库存情况，将缺货商品的名称、数量和补货位置发送给第二机器人；第二机器人运动至缺货商品的库存位置，并将缺货商品从所述库存位置放置到所述补货位置。本申请利用机器人快速准确的对货架排面进行缺货检测，并利用机器人进行及时和准确的补货，工作速度快、效率高，且节省人力成本。

Description

一种缺货检测和补货方法和系统

技术领域

本申请属于计算机技术领域，具体涉及一种缺货检测和补货方法和系统。

背景技术

近几年来，与人们生活密切联系的智能新零售迅速发展，其运用互联网、物联网、大数据、人工智能等技术赋能商超、便利店等数字化、智能化管理，同时优化商品和用户和支付之间的关系，给予顾客更快、更好、更方便的购物体验。

其中，货架数字化是智能新零售业务中重要的一个环节，及时地发现缺货并补货是影响销售额的重要因素，因此是智能零售中的重要需求。针对上述需求，传统的手段是通过人工不定时地盘查货架，发现商品缺货情况进行记录和上报，再由人工定期集中补货。然而，人工盘查需要不定时地进行现场货架查看，而且也不会对缺货商品立即补货，无法满足实时性需求，且人工成本和时间成本较高。

申请内容

本申请实施例的目的是提供一种缺货检测和补货方法和系统，以解决现有技术无法满足实时性需求，且人工成本和时间成本较高的缺陷。

为了解决上述技术问题，本申请是这样实现的：

第一方面，提供了一种缺货检测和补货方法，包括以下步骤：

第一机器人在从货架对应的巡检起点运动到巡检终点的过程中，对货架上的商品进行拍摄，得到货架图像；

所述第一机器人对所述货架图像进行排面检测和商品识别，将缺货商品的名称、缺货率和补货位置发送给后台服务器；

所述后台服务器根据所述缺货商品的缺货率、需要执行补货操作的商品的总数量和库存情况，将所述缺货商品的名称、数量和补货位置发送给第二机器人；

所述第二机器人运动至所述缺货商品的库存位置，并将所述缺货商品从所述库存位置放置到所述补货位置。

第二方面，提供了一种缺货检测和补货系统，包括第一机器人、后台服务器和第二机器人；

所述第一机器人包括：

拍摄模块，用于在从货架对应的巡检起点运动到巡检终点的过程中，对货架上的商品进行拍摄，得到货架图像；

发送模块，用于对所述货架图像进行排面检测和商品识别，将缺货商品的名称、缺货率和补货位置发送给后台服务器；

所述后台服务器，用于根据所述缺货商品的缺货率、需要执行补货操作的商品的总数量和库存情况，将所述缺货商品的名称、数量和补货位置发送给第二机器人；

所述第二机器人，用于运动至所述缺货商品的库存位置，并将所述缺货商品从所述库存位置放置到所述补货位置。

本申请实施例利用机器人快速准确的对货架排面进行缺货检测，并利用机器人进行及时和准确的补货，工作速度快、效率高，且节省人力成本，能够实现货架缺货自动检测和自动补货的智能化、自动化的完整闭环需求。

附图说明

图1是本申请实施例提供的一种缺货检测和补货方法流程图；

图2是本申请实施例提供的一种缺货检测和补货系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

针对新零售业务中的货架智能化、数字化需求的痛点，即商品陈列缺货的巡检和补货需要更加实时性、精确性、以及经济性，现有技术方案无法或者难以满足快速、准确，经济，部署简单等方面来实现货架智能化巡检和补货的需求。针对上述痛点，本申请实施例提出了一种基于机器人和商品识别来快速有效的对商品陈列和货架缺货智能巡检，通过机器人管理服务后台收到的所有缺货数据进行分析整理，然后通过具有机械臂和货篮的机器人自动对缺货商品进行补货的完整方案。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的一种缺货检测和补货方法进行详细地说明。

如图1所示，为本申请实施例提供的一种缺货检测和补货方法流程图，该方法包括以下步骤：

步骤101，第一机器人在从货架对应的巡检起点运动到巡检终点的过程中，对货架上的商品进行拍摄，得到货架图像。

步骤102，第一机器人对所述货架图像进行排面检测和商品识别，将缺货商品的名称、缺货率和补货位置发送给后台服务器。

具体地，第一机器人对所述货架图像进行排面检测和商品识别，得到所述货架图像的商品排面和识别结果；第一机器人从所述货架图像中识别出空排面后，根据所述货架图片的商品排面与预置的标准陈列的对比，确定空排面对应的缺货商品的缺货率，并将所述缺货商品的名称、缺货率和补货位置发送给后台服务器。

步骤103，后台服务器根据所述缺货商品的缺货率、需要执行补货操作的商品的总数量和库存情况，将所述缺货商品的名称、数量和补货位置发送给第二机器人。

具体地，在所述后台服务器判断出所述缺货商品的缺货率大于需要执行补货操作的缺货率阈值，需要执行补货操作的商品总数量大于可执行补货操作的阈值，且需要执行补货操作的商品有库存的情况下，所述后台服务器将所述缺货商品的名称、数量和补货位置发送给第二机器人。

其中，货架图像包括所述第一机器人拍摄到的多张彩色图像。第一机器人分别对每张所述彩色图像进行排面检测和商品识别，得到每张所述彩色图像的商品排面和识别结果。

相应地，第一机器人从所述货架图像中识别出空排面后，根据相邻的彩色照片推理结果的排面序列和锚点位置进行融合去重，并根据锚点位置进行小货架分割；第一机器人根据去重融合和小货架分割后的结果，以及预置的标准陈列，确定空排面对应的缺货商品的总排面数；第一机器人根据所述缺货商品的总排面数和所述缺货商品在所述标准陈列中的排面数，计算所述缺货商品的缺货率。

本实施例中，后台服务器根据一段时间内缺货商品的补货阈值、补货总数以及库存情况，确定需要补货的商品类别和数量以及相应的补货位置发送给第二机器人。

步骤104，第二机器人运动至所述缺货商品的库存位置，并将所述缺货商品从所述库存位置放置到所述补货位置。

本实施例中，在将需要执行补货操作的商品名称和补货位置发送给后台服务器后，由后台服务器对一段时间内收到的所有缺货数据进行分析整理，并发送补货指令给第二机器人；第二机器人根据后台服务器的指令从仓库获取相应商品。

此外，第一机器人在从货架对应的巡检起点运动到巡检终点的过程中，对货架上的商品进行拍摄，得到货架图像之前，还可以获取货架的左右边缘的坐标信息，以及巡检距离；并根据所述坐标信息以及所述巡检距离，计算所述巡检起点和所述巡检终点之间的直线路径。

本申请实施例利用机器人快速准确的对货架排面进行缺货检测，并利用机器人进行及时和准确的补货，工作速度快、效率高，且节省人力成本，能够实现货架缺货自动检测和自动补货的智能化、自动化的完整闭环需求。

在本申请实施例中，采用两种形态的机器人(第一机器人和第二机器人)和机器人管理后台系统(后台服务器)进行配合工作。

其中，第一机器人为负责巡检缺货的机器人：带有运动底盘，根据高低位置搭载多个彩色相机(具体个数视相机的fov而定，以相机画面能覆盖货架上下完整排面为准)，彩色相机采用自动曝光和自动对焦，这样可以保证机器人在不同距离下可以拍到亮度和清晰度都合适的照片。基于彩色相机拍摄的画面，进行商品排面检测和商品类别识别。在发现空排面后，根据与标准陈列(标准陈列是机器人巡检之前生成好并保存在机器人本地)的对比获知空排面对应的缺货商品名称，再根据缺货的商品名称在已检测出商品中该商品名称的总排面数，根据标准陈列该商品名称的排面数可以计算出该商品的缺货率。然后，第一机器人将所述缺货商品的名称，缺货率和补货位置(货架编号，层板号)发送给后台服务器。

后台服务器是商超所有机器人的管理后台系统，与所有的机器人前端系统、门店库存管理服务器系统、门店管理客户端系统都通过网络进行连接。用于对接收到的第一机器人所有数据进行分析整理，并执行相应的运营管理操作。当发现缺货商品的缺货率大于需要执行补货的缺货率阈值，需要执行补货操作的商品总数量达到可执行补货操作的阈值，且需要执行补货操作的商品有库存时，将所述缺货商品的商品名称和补货位置发送给第二机器人；如果第一后台服务器发现某种需补货商品无库存，发送相应商品的库存不足警报给门店管理客户端程序来通知门店管理人员。

第二机器人为负责补货的机器人：带有运动底盘，带有机械臂，带有货物拉车。补货机器人收到机器人管理后台服务器发来的需补货商品信息后，在仓库中运动到存储对应商品的位置，通过机械臂抓取需补货数量的商品放入货物车中。当取完需要补货的商品后，补货机器人运动到商品对应的货架缺货位置，通过机械臂将需要补货的商品从拉车上取出放置到货架的空排面位置。在补货机器人上安装吸盘式机械臂用以抓取商品，挂载装货拉车。

相应地，本申请实施例的技术方案分为部署和实施两个步骤。部署是对机器人现场地图扫描，巡检货架和仓储点位设定的工勘步骤；实施是机器人的巡检工作和补货操作的逻辑设定。

具体地，工勘设定包括：通过建图工具让机器人在客户门店中创建好地图后，直接在地图上查看每个货架通道的左右边缘的坐标位置。将货架的左右边缘地图坐标，以及需要设置的扫货距离通过工勘工具设置给第一机器人，第一机器人会自动计算出扫货的起点和终点之间的直线路径。

巡检机器人的巡检工作方式包括以下步骤：

(1)巡检机器人从每个货架计算出来的起始点开始导航运动到货架终点位置，相机开始固定帧率拍摄模式区照片，并获取当前的机器人位姿。按照位姿选择需要保存的照片。

(2)对每张图进行排面检测和商品识别处理，得到每张图片的商品排面和识别结果。

(3)根据左右相邻照片推理结果的排面序列和锚点位置信息进行融合去重。并根据锚点的位置进行小货架分割。

(4)根据去重融合和小货架分割后的结果，对每个小货架进行缺货率计算，将所有商品缺货信息发送给第一后台服务器进行分析处理。

本申请实施例能够利用机器人快速准确的对货架排面进行缺货检测，并利用机器人进行及时和准确的补货，部署简单，巡检补货速度快，适用性好，效率高，节省人力成本，经济效益好，且对大场景更加经济适用，特别适合于在面积大货架多的大型商超进行部署工作，实现货架缺货自动检测和自动补货的智能化、自动化的完整闭环需求。

如图2所示，为本申请实施例提供的一种缺货检测和补货系统的结构示意图，包括第一机器人210、后台服务器220和第二机器人230；

其中，第一机器人210包括：

拍摄模块，用于在从货架对应的巡检起点运动到巡检终点的过程中，对货架上的商品进行拍摄，得到货架图像；

发送模块，用于对所述货架图像进行排面检测和商品识别，将缺货商品的名称、缺货率和补货位置发送给后台服务器；

具体地，发送模块，包括：

识别子模块，用于对所述货架图像进行排面检测和商品识别，得到所述货架图像的商品排面和识别结果；

确定子模块，用于从所述货架图像中识别出空排面后，根据所述货架图片的商品排面与预置的标准陈列的对比，确定空排面对应的缺货商品的缺货率；

发送子模块，用于将所述缺货商品的名称、缺货率和补货位置发送给后台服务器。

其中，货架图像包括所述第一机器人拍摄到的多张彩色图像；

相应地，识别子模块，具体用于分别对每张所述彩色图像进行排面检测和商品识别，得到每张所述彩色图像的商品排面和识别结果。

确定子模块，具体用于从所述货架图像中识别出空排面后，根据相邻的彩色照片推理结果的排面序列和锚点位置进行融合去重，并根据锚点位置进行小货架分割；根据去重融合和小货架分割后的结果，以及预置的标准陈列，确定空排面对应的缺货商品的总排面数；根据所述缺货商品的总排面数和所述缺货商品在所述标准陈列中的排面数，计算所述缺货商品的缺货率。

后台服务器220，用于根据所述缺货商品的缺货率、需要执行补货操作的商品的总数量和库存情况，将所述缺货商品的名称、数量和补货位置发送给第二机器人。

具体地，后台服务器220，具体用于在判断出所述缺货商品的缺货率大于需要执行补货操作的缺货率阈值，需要执行补货操作的商品总数量大于可执行补货操作的阈值，且需要执行补货操作的商品有库存的情况下，将所述缺货商品的名称、数量和补货位置发送给第二机器人。

第二机器人230，用于运动至所述缺货商品的库存位置，并将所述缺货商品从所述库存位置放置到所述补货位置。

本实施例中，第一机器人210，还包括：

获取模块，用于获取货架的左右边缘的坐标信息，以及巡检距离；

计算模块，用于根据所述坐标信息以及所述巡检距离，计算所述巡检起点和所述巡检终点之间的直线路径。

本申请实施例利用机器人快速准确的对货架排面进行缺货检测，并利用机器人进行及时和准确的补货，工作速度快、效率高，且节省人力成本，能够实现货架缺货自动检测和自动补货的智能化、自动化的完整闭环需求。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种缺货检测和补货方法，其特征在于，包括以下步骤：

第一机器人在从货架对应的巡检起点运动到巡检终点的过程中，对货架上的商品进行拍摄，得到货架图像；

所述第一机器人对所述货架图像进行排面检测和商品识别，将缺货商品的名称、缺货率和补货位置发送给后台服务器；

所述后台服务器根据所述缺货商品的缺货率、需要执行补货操作的商品的总数量和库存情况，将所述缺货商品的名称、数量和补货位置发送给第二机器人；

所述第二机器人运动至所述缺货商品的库存位置，并将所述缺货商品从所述库存位置放置到所述补货位置。

2.根据权利要求1所述的方法，其特征在于，所述第一机器人对所述货架图像进行排面检测和商品识别，将缺货商品的名称、缺货率和补货位置发送给后台服务器，具体包括：

所述第一机器人对所述货架图像进行排面检测和商品识别，得到所述货架图像的商品排面和识别结果；

所述第一机器人从所述货架图像中识别出空排面后，根据所述货架图片的商品排面与预置的标准陈列的对比，确定空排面对应的缺货商品的缺货率，并将所述缺货商品的名称、缺货率和补货位置发送给后台服务器；

所述后台服务器根据所述缺货商品的缺货率、需要执行补货操作的商品的总数量和库存情况，将所述缺货商品的名称、数量和补货位置发送给第二机器人，具体包括：

在所述后台服务器判断出所述缺货商品的缺货率大于需要执行补货操作的缺货率阈值，需要执行补货操作的商品总数量大于可执行补货操作的阈值，且需要执行补货操作的商品有库存的情况下，所述后台服务器将所述缺货商品的名称、数量和补货位置发送给第二机器人。

3.根据权利要求2所述的方法，其特征在于，所述货架图像包括所述第一机器人拍摄到的多张彩色图像；

所述第一机器人对所述货架图像进行排面检测和商品识别，得到所述货架图像的商品排面和识别结果，具体包括：

所述第一机器人分别对每张所述彩色图像进行排面检测和商品识别，得到每张所述彩色图像的商品排面和识别结果。

4.根据权利要求3所述的方法，其特征在于，所述第一机器人从所述货架图像中识别出空排面后，根据所述货架图片的商品排面与预置的标准陈列的对比，确定空排面对应的缺货商品的缺货率，具体包括：

所述第一机器人从所述货架图像中识别出空排面后，根据相邻的彩色照片推理结果的排面序列和锚点位置进行融合去重，并根据锚点位置进行小货架分割；

所述第一机器人根据去重融合和小货架分割后的结果，以及预置的标准陈列，确定空排面对应的缺货商品的总排面数；

所述第一机器人根据所述缺货商品的总排面数和所述缺货商品在所述标准陈列中的排面数，计算所述缺货商品的缺货率。

5.根据权利要求1所述的方法，其特征在于，所述第一机器人在从货架对应的巡检起点运动到巡检终点的过程中，对货架上的商品进行拍摄，得到货架图像之前，还包括：

所述第一机器人获取货架的左右边缘的坐标信息，以及巡检距离；

所述第一机器人根据所述坐标信息以及所述巡检距离，计算所述巡检起点和所述巡检终点之间的直线路径。

6.一种缺货检测和补货系统，其特征在于，包括第一机器人、后台服务器和第二机器人；

所述第一机器人包括：

拍摄模块，用于在从货架对应的巡检起点运动到巡检终点的过程中，对货架上的商品进行拍摄，得到货架图像；

发送模块，用于对所述货架图像进行排面检测和商品识别，将缺货商品的名称、缺货率和补货位置发送给后台服务器；

所述后台服务器，用于根据所述缺货商品的缺货率、需要执行补货操作的商品的总数量和库存情况，将所述缺货商品的名称、数量和补货位置发送给第二机器人；

所述第二机器人，用于运动至所述缺货商品的库存位置，并将所述缺货商品从所述库存位置放置到所述补货位置。

7.根据权利要求6所述的系统，其特征在于，所述发送模块，包括：

识别子模块，用于对所述货架图像进行排面检测和商品识别，得到所述货架图像的商品排面和识别结果；

确定子模块，用于从所述货架图像中识别出空排面后，根据所述货架图片的商品排面与预置的标准陈列的对比，确定空排面对应的缺货商品的缺货率；

发送子模块，用于将所述缺货商品的名称、缺货率和补货位置发送给后台服务器；

所述后台服务器，具体用于在判断出所述缺货商品的缺货率大于需要执行补货操作的缺货率阈值，需要执行补货操作的商品总数量大于可执行补货操作的阈值，且需要执行补货操作的商品有库存的情况下，将所述缺货商品的名称、数量和补货位置发送给第二机器人。

8.根据权利要求7所述的系统，其特征在于，所述货架图像包括所述第一机器人拍摄到的多张彩色图像；

所述识别子模块，具体用于分别对每张所述彩色图像进行排面检测和商品识别，得到每张所述彩色图像的商品排面和识别结果。

9.根据权利要求8所述的系统，其特征在于，

所述确定子模块，具体用于从所述货架图像中识别出空排面后，根据相邻的彩色照片推理结果的排面序列和锚点位置进行融合去重，并根据锚点位置进行小货架分割；根据去重融合和小货架分割后的结果，以及预置的标准陈列，确定空排面对应的缺货商品的总排面数；根据所述缺货商品的总排面数和所述缺货商品在所述标准陈列中的排面数，计算所述缺货商品的缺货率。

10.根据权利要求6所述的系统，其特征在于，所述第一机器人，还包括：

获取模块，用于获取货架的左右边缘的坐标信息，以及巡检距离；

计算模块，用于根据所述坐标信息以及所述巡检距离，计算所述巡检起点和所述巡检终点之间的直线路径。

Images