CN116935198B - 货架商品的缺货检测方法、装置及机器人 - Google Patents

Abstract

本发明公开了一种货架商品的缺货检测方法、装置及机器人，其中该方法包括：获取多张货架RGB图像及多张货架深度图像；针对每一货架RGB图像及每一货架深度图像，执行缺货区域检测的步骤得到货架内所有的空缺区域；每一空缺区域带有位置信息和深度信息；将每一货架RGB图像拼接成完整货架图像，将商品、价签层格的检测框及所有的空缺区域进行合并和去重处理，映射至完整货架图像上；对于完整货架图像生成每一商品对应的棚格区域，根据棚格区域对货架内所有的空缺区域进行划分；根据每一商品对应的空缺区域及棚格区域的位置信息和深度信息，确定每一商品的缺货检测结果。本发明可以提高缺货检测结果的准确率。

Description

货架商品的缺货检测方法、装置及机器人

技术领域

本发明涉及电子价签技术领域，尤其涉及一种货架商品的缺货检测方法、装置及机器人。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着人工智能技术的不断发展，商超行业也在不断地向智能化、数字化方向转型。AI技术的应用，使得商超能够更好地满足顾客需求，提高运营效率，提升用户体验，进一步扩大了商超的市场影响力。通过人工智能算法的运用，商超可以实时地分析和预测消费者需求，更加精确地制定营销策略，以满足消费者的需求，从而提高销售额和客户满意度。商超还可以使用AI技术来自动化库存管理，降低库存成本和货架滞留率，并在必要时快速补充货物，确保顾客的购物需求得到满足。

智能货架是一种新型的智能化零售工具，具备智能分析和自动化管理功能，能够满足商超的排面分析和商品识别等多种需求。通过对货架上的商品进行实时监控和数据分析，智能货架能够提高货架的利用率、优化库存管理、提升客户购物体验，从而提高商超的经营效益。智能货架已经成为商超智能化零售的重要组成部分，也是未来商超发展的重要趋势。

在智能货架中，缺货检测例如缺货区域和缺货率检测是关键的一环，因此，及时地检测、发现、分析货架上缺货的状况有利于提高商家的运营利润和提升购物者的购物需求。

现有缺货区域检测方案及存在的技术问题是：先进行图像拼接再做检测和识别，太依赖图像拼接的效果，或使用深度图像的深度信息直接确定缺货空缺区域，该些方案均存在缺货区域检测的准确率低的问题。

发明内容

本发明实施例提供一种货架商品的缺货检测方法，用以提高货架商品的缺货检测的准确率，该方法包括：

获取多张货架RGB图像及多张货架深度图像；

针对每一货架RGB图像及每一货架深度图像，执行如下缺货区域检测的步骤：

将每一货架RGB图像，输入利用深度学习方法预先训练好的目标检测模型，对所有的商品进行检测得到商品检测框；对所有的电子价签进行检测得到价签检测框；对所有的货架层格检测得到货架层格检测框；

根据每一货架RGB图像对应商品检测框及货架层格检测框的位置信息，得到每一货架RGB图像对应的第一空缺区域；

根据每一货架RGB图像对应的价签检测框及对应的货架深度图像，确定每一价签检测框内区域像素点的第一平均深度值；根据每一货架RGB图像对应的第一空缺区域及对应的货架深度图像，确定每一第一空缺区域内区域像素点的第二平均深度值；根据深度值处于设定区间内的像素点，得到每一货架RGB图像对应的第四空缺区域；所述设定区间根据第一平均深度值和第二平均深度值确定；

将每一货架RGB图像对应的第一空缺区域和第四空缺区域合并，得到货架内所有的空缺区域；每一空缺区域带有位置信息和深度信息；

将每一货架RGB图像拼接成完整货架图像，将商品检测框、价签检测框、层格检测框及所有的空缺区域进行合并和去重处理，映射至完整货架图像上；

对于完整货架图像，划定每个商品的摆放区域，生成每一商品对应的棚格区域；根据每一商品对应的棚格区域，对货架内所有的空缺区域进行划分，得到每一商品对应的空缺区域；每一商品对应的空缺区域带有位置信息和深度信息；

根据每一商品对应空缺区域的位置信息和深度信息，确定每一商品对应空缺区域缺货体体积作为缺货检测结果。

本发明实施例还提供一种货架商品的缺货检测装置，用以提高货架商品的缺货检测的准确率，该装置包括：

获取单元，用于获取多张货架RGB图像及多张货架深度图像；

缺货区域检测单元，用于针对每一货架RGB图像及每一货架深度图像，执行如下缺货区域检测的步骤：

将每一货架RGB图像，输入利用深度学习方法预先训练好的目标检测模型，对所有的商品进行检测得到商品检测框；对所有的电子价签进行检测得到价签检测框；对所有的货架层格检测得到货架层格检测框；

根据每一货架RGB图像对应商品检测框及货架层格检测框的位置信息，得到每一货架RGB图像对应的第一空缺区域；

根据每一货架RGB图像对应的价签检测框及对应的货架深度图像，确定每一价签检测框内区域像素点的第一平均深度值；根据每一货架RGB图像对应的第一空缺区域及对应的货架深度图像，确定每一第一空缺区域内区域像素点的第二平均深度值；根据深度值处于设定区间内的像素点，得到每一货架RGB图像对应的第四空缺区域；所述设定区间根据第一平均深度值和第二平均深度值确定；

将每一货架RGB图像对应的第一空缺区域和第四空缺区域合并，得到货架内所有的空缺区域；每一空缺区域带有位置信息和深度信息；

图像拼接单元，用于将每一货架RGB图像拼接成完整货架图像，将商品检测框、价签检测框、层格检测框及所有的空缺区域进行合并和去重处理，映射至完整货架图像上；

空缺划分单元，用于对于完整货架图像，划定每个商品的摆放区域，生成每一商品对应的棚格区域；根据每一商品对应的棚格区域，对货架内所有的空缺区域进行划分，得到每一商品对应的空缺区域；每一商品对应的空缺区域及棚格区域均带有位置信息和深度信息；每一商品对应的空缺区域带有位置信息和深度信息；

缺货检测单元，用于根据每一商品对应空缺区域的位置信息和深度信息，确定每一商品对应空缺区域缺货体体积作为缺货检测结果。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述货架商品的缺货检测方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述货架商品的缺货检测方法。

本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述货架商品的缺货检测方法。

本发明实施例提供的货架商品的缺货检测方案的有益技术效果是：

首先，本发明实施例将每一货架RGB图像，输入利用深度学习方法预先训练好的目标检测模型，对所有的商品进行检测得到商品检测框；对所有的电子价签进行检测得到价签检测框；对所有的货架层格检测得到货架层格检测框，精确得到各个检测框，为后续缺货区域检测奠定基础。

其次，与现有技术中直接使用深度图像的深度信息获取空缺区域，缺货区域检测的准确率低的方案相比较，本发明实施例基于货架视觉RGB图像及带有深度信息的货架深度图像，使用棚格区域和商品检测框进行空缺区域的反推，可以获取更准确的缺货区域。

再次，与先进行图像拼接再做检测和识别，太依赖图像拼接的效果，缺货区域检测的准确率低的方案相比较，本发明实施例在空缺区域检测之后进行图像拼接，并且在确定空缺区域时，融合了价签位置、商品位置、视觉空缺区域、深度值信息，可以最终获得更准确的空缺区域，进而可以提高缺货检测结果的准确率。

综上，本发明实施例提供的货架商品的缺货检测方案提高了缺货检测结果的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中货架商品的缺货检测方法的流程示意图；

图2为本发明实施例中机器人对货架进行拍摄示意图；

图3为本发明实施例中货架结构及陈列示意图；

图4为本发明实施例中货架商品的缺货检测的原理示意图；

图5为本发明另一实施例中货架商品的缺货检测的原理示意图；

图6为本发明实施例中货架三维效果图；

图7为本发明实施例中货架商品的缺货检测装置的结构示意图；

图8为本发明实施例中货架商品的缺货检测机器人的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

为了更好的理解本发明实施例，首先对本发明实施例涉及的名词进行介绍。

商品排面，即商品检测框：位于货架上前排的、能被肉眼看见的商品表面，如图3中的商品检测框31。

价签：商超货架中用于标识商品信息，如商品名、价格等信息的标识符，如图3中价签检测框21。

棚格：同一种商品，若干数量共同占据的区域，如图3中棚格区域22。

层板：特指货架每一层用于放置商品和价签的隔板，如图3中的层板检测框23。

空洞：特征明显的不放置商品的区域，如图3中空洞区域24。

为了在视觉上和实际深度上两个层面上，准确地测量货架上每一种商品的缺货率，本发明实施例提出一种货架商品的缺货检测方案，该方案包括检测出具体货架上未放置商品的空缺区域位置、计算空缺区域所占据单个sku商品区域的比率。下面对该货架商品的缺货检测方案进行详细介绍。

图1为本发明实施例中货架商品的缺货检测方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤101：获取多张货架RGB图像及多张货架深度图像；

步骤102：针对每一货架RGB图像及每一货架深度图像，执行如下缺货区域检测的步骤，即图4中“检测缺货区域的”的步骤：

步骤1021：将每一货架RGB图像，输入利用深度学习方法预先训练好的目标检测模型，对所有的商品进行检测得到商品检测框；对所有的电子价签进行检测得到价签检测框；对所有的货架层格检测得到货架层格检测框；

步骤1022：根据每一货架RGB图像对应商品检测框及货架层格检测框的位置信息，得到每一货架RGB图像对应的第一空缺区域；

步骤1023：根据每一货架RGB图像对应的价签检测框及对应的货架深度图像，确定每一价签检测框内区域像素点的第一平均深度值；根据每一货架RGB图像对应的第一空缺区域及对应的货架深度图像，确定每一第一空缺区域内区域像素点的第二平均深度值；根据深度值处于设定区间内的像素点，得到每一货架RGB图像对应的第四空缺区域；所述设定区间根据第一平均深度值和第二平均深度值确定；

步骤1024：将每一货架RGB图像对应的第一空缺区域和第四空缺区域合并，得到货架内所有的空缺区域；每一空缺区域带有位置信息和深度信息；

步骤103：将每一货架RGB图像拼接成完整货架图像，将商品检测框、价签检测框、层格检测框及所有的空缺区域进行合并和去重处理，映射至完整货架图像上；即图4中图片拼接的步骤；

步骤104：对于完整货架图像，划定每个商品的摆放区域，生成每一商品对应的棚格区域；根据每一商品对应的棚格区域，对货架内所有的空缺区域进行划分，得到每一商品对应的空缺区域；每一商品对应的空缺区域带有位置信息和深度信息；即图4中划分空缺的步骤；

步骤105：根据每一商品对应空缺区域的位置信息和深度信息，确定每一商品对应空缺区域缺货体体积作为缺货检测结果，即计算缺货体积的步骤。

本发明实施例提供的货架商品的缺货检测方法的有益技术效果是：

首先，本发明实施例将每一货架RGB图像，输入利用深度学习方法预先训练好的目标检测模型，对所有的商品进行检测得到商品检测框；对所有的电子价签进行检测得到价签检测框；对所有的货架层格检测得到货架层格检测框，精确得到各个检测框，为后续缺货区域检测奠定基础。

其次，与现有技术中直接使用深度图像的深度信息获取空缺区域，缺货区域检测的准确率低的方案相比较，本发明实施例基于货架视觉RGB图像及带有深度信息的货架深度图像，使用棚格区域和商品检测框进行空缺区域的反推，可以获取更准确的缺货区域。

再次，与先进行图像拼接再做检测和识别，太依赖图像拼接的效果，缺货区域检测的准确率低的方案相比较，本发明实施例在空缺区域检测之后进行图像拼接，并且在确定空缺区域时，融合了价签位置、商品位置、视觉空缺区域、深度值信息，可以最终获得更准确的空缺区域，进而可以提高缺货检测结果的准确率。

综上，本发明实施例提供的货架商品的缺货检测方法提高了缺货检测结果的准确率。下面结合图2至图7进行详细介绍。

1. 如图2所示，检测涉及的装置或系统：

（1）轮式机器人（内部结构图如图8所示），包含底盘和机器躯干两部分，如图2样式。

（2）底盘是运动模块，包含电机、电池、轮子、计算机软硬件等。

（3）机器躯干是拍摄系统（如图8所示的拍照装置11）和计算系统（如图8所示的货架商品的缺货检测装置12），相当于人类的眼睛和大脑，拍摄系统包含若干个视觉相机（111）和成对的深度相机（112）、补光灯等，其中视觉相机可以拍摄货架RGB图像，深度相机可以获取货架深度图像，使用但不限于Time of Flight (ToF) 相机或者结构光相机等可以获取图像深度信息的硬件；计算系统包含计算机的软硬件以及算法处理模块，算法处理模块包含算法模型（例如本发明实施例提到的目标检测模型、特征提取模型、字符识别模型等）和所需的数据库等。

2. 如图5所示，缺货区域的划定与缺货率计算的方法步骤：

（1）机器人在货架前拍摄并获取图像：

如图1所示，机器人1的拍摄系统包含竖排的若干个相机，可以拍摄货架2的上部、中部、下部图像，且机器人一次只拍货架的一部分，需要向左或向右、有一定画面重叠地拍摄整个货架剩余的画面，最终后续需要将拍摄到的图像进行图像拼接，还原货架的整体面貌。

其中，视觉摄像头（相机）可以获取货架的RGB图像、深度相机可以获取带有深度信息的图像。

（2）对货架视觉图像中的商品进行检测：

对于获取的RGB图像：

a.使用计算系统中的算法处理模块的目标检测模型，对所有的商品3（如图2所示）进行检测，获取检测框，即将每一货架RGB图像，输入利用深度学习方法预先训练好的目标检测模型，对所有的商品进行检测得到商品检测框，如图3中“31”；

b.根据检测框的坐标和宽高，使用图像处理的方法将商品的区域小图裁剪出来；

其中，目标检测模型可以使用深度学习的方法完成训练，即利用采集到的场景图像数据进行商品的标注，然后对深度网络模型基于最大似然的思想进行训练和验证，深度网络模型包括且不限于深度卷积网络模型和视觉VIT类模型。

对货架视觉图像中的商品进行识别（可选）：

（3）对于步骤（2）中检测裁剪出的图像：

a.将裁剪出来的小图送进特征提取模型进行特征提取；

b.将上一步骤提取出的特征与算法处理模块中的预置的商品特征库进行检索计算，计算特征之间的欧氏距离，取其最小值对应的结果作为置信度最高的商品识别结果；

其中，特征提取模型使用深度学习的方法完成训练，即利用采集到的场景图像数据进行商品的标注分类，然后对深度网络模型进行训练和验证。

通过上述可知，在一个实施例中，上述货架商品的缺货检测方法还可以包括：

根据商品检测框的位置信息，裁剪出商品区域小图；

将裁剪出来的商品区域小图输入利用深度学习方法预先训练生成的特征提取模型进行特征提取；

将提取出的特征与预置的商品特征库中特征进行检索，计算提取出的特征与预置的商品特征库中特征之间的欧氏距离，取欧氏距离最小值对应的结果作为置信度最高的商品识别结果。

具体实施时，上述实施例实现了识别出商品，具体可以通过识别出的商品后续标识确定具体哪种商品缺货，当然还可以利用该商品识别结果调整棚格，进一步提高缺货检测的准确率，详见下面实施例的介绍。

（4）对货架视觉图像中的价签进行检测：

对于获取的RGB图像：

a.使用计算系统中的算法处理模块的目标检测模型，对所有的电子价签进行检测，即对所有的电子价签进行检测得到价签检测框，获取检测框如图3中的“21”；

b.根据检测框的坐标和宽高，使用图像处理的方法将价签的区域小图裁剪出来；

其中，目标检测模型使用深度学习的方法完成训练，即利用采集到的场景图像数据进行价签的标注，然后对深度网络模型基于最大似然的思想进行训练和验证，深度网络模型包括且不限于深度卷积网络模型和视觉VIT类模型。

（5）对检测出的价签进行识别：

a.对于步骤（4）中检测裁剪出来的小图送进字符识别模型或者OCR算法模型，对价签中的文字或字符码进行识别；

b.将上一步骤识别出的文字或字符码，与算法处理模块中的预置的“商品信息库”进行搜索匹配，将搜索出的对应的商品信息作为价签的识别结果（可选）；

其中，字符识别模型可以使用深度学习的方法完成训练，即利用采集到的场景图像数据进行字符码的标注，然后对深度网络模型基于最大似然的思想进行训练和验证，深度网络模型包括且不限于深度卷积网络模型和视觉VIT类模型。

在一个实施例中，上述货架商品的缺货检测方法还可以包括：

根据价签检测框的位置信息，裁剪出价签区域小图；

将裁剪出来的价签区域小图输入利用深度学习方法预先训练生成的字符识别模型，识别出价签的文字信息；

将识别出的价签文字信息与预置的商品信息库中价签文字信息进行搜索匹配，将搜索匹配出的对应的商品信息作为价签的识别结果。

具体实施时，上述实施例对货架标签进行了识别，后续可以根据价签识别结果，将价签与对应商品进行绑定，可以快速确定具体哪种商品缺货。

（6）对货架视觉图像中的层板进行划分：

方法1：基于深度学习方法训练出的目标检测模型，将RGB图像送进网络模型，直接输出货架层板的检测框，即对所有的货架层板进行检测得到货架层板检测框，如图3中的“23”。

方法2：基于步骤（4）中价签检测的位置进行拟合，即将在同一层的价签进行连线，将平均水平线视为层板线。

（7）划分层格：

方法1：根据层板位置限定一个格子的高度，将两两层板之间的范围定为一个层格；上述对所有的货架层板进行检测得到货架层板检测框的目的之一就是可以基于该货架层板检测框实现该方法1，目的之二还可以应用在下述步骤“（13）图像拼接”中，详见下面实施例的描述；

方法2：基于深度学习方法训练出的目标检测模型，将RGB图像送进网络模型，直接输出货架层格区域的检测框，即对所有的货架层格检测得到货架层格检测框；

最终层格区域如图3中的“25”。

（8）基于层格与商品反推空缺，得到空缺区域1（第一空缺区域），即上述步骤1022：

通过图像处理方法，分别计算层格和商品检测框的mask，将层格的mask减去商品的mask的结果作为空缺区域1，如图3中灰色的区域；

（9）对货架视觉图像中的空洞进行检测，得到空缺区域2（第二空缺区域）（可选）：

为了防止步骤（8）中获取的空缺区域有错漏，对于获取的RGB图像：

使用计算系统中的算法处理模块的目标检测模型，对图像中所有的空缺的商品位进行检测，获取空缺位的检测框，如图3中的“24”；

其中，目标检测模型可以使用深度学习的方法进行训练，利用采集到的场景图像数据进行准确的空缺位进行标注，然后对深度网络模型基于最大似然的思想进行训练和验证（深度网络模型包括且不限于深度卷积网络模型和视觉VIT类模型）。

（10）将空缺区域1与空缺区域2进行融合合并（可选）：

对于空缺区域1和空缺区域2，取其两个区域的并集，得到空缺区域3（第三空缺区域）；

通过上述可知，在一个实施例中，上述货架商品的缺货检测方法还可以包括：

利用所述目标检测模型对每一货架RGB图像中的空洞进行检测，得到第二空缺区域；

将第一空缺区域与所述第二空缺区域进行融合合并，得到每一货架RGB图像对应的第三空缺区域；

那么后续将每一货架RGB图像对应的第一空缺区域和第四空缺区域合并，得到货架内所有的空缺区域，可以包括：将每一货架RGB图像对应的第三空缺区域和第四空缺区域合并，得到货架内所有的空缺区域。

具体实施时，利用所述目标检测模型对每一货架RGB图像中的空洞进行检测，可以后续缺货检测的精度。

（11）核对空缺区域范围与深度值：

对于获取的深度图像：

将RGB图像中所有价签的检测框覆盖在深度图像上，并统计所有价签检测框内区域像素点的平均深度值x1，将所有价签检测框区域视为最前排面，且所有深度值修改为x1；同理，对于RGB图像上获取的空缺区域3，相对应覆盖在深度图像上，并统计区域内所有像素点的平均深度值x2，将所有空缺区域视为货架的最深底部，且所有深度值修改为x2；

对于层格内，深度值处于x1和x2之间的像素，既不是最前排也不是全卖空的区域，可以视为卖完了前排，露出了后排的区域，此时设定一个区间值[x1+a，x2-b]，处于该区间内的像素点，也看作是缺货区域，得到空缺区域4，且深度值定为该区域内的平均值。

通过上述可知，在一个实施例中，根据每一货架RGB图像对应的价签检测框及对应的货架深度图像，确定每一价签检测框内区域像素点的第一平均深度值，可以包括：将每一RGB图像中所有价签检测框覆盖在对应的货架深度图像上，并统计所有价签检测框内区域像素点的第一平均深度值；

根据每一货架RGB图像对应的第一空缺区域及对应的货架深度图像，确定每一第一空缺区域内区域像素点的第二平均深度值，可以包括：将每一货架RGB图像对应的第一空缺区域覆盖在对应的货架深度图像上，并统计第一空缺区域内所有像素点的第二平均深度值。

具体实施时，将RGB图像上计算的空缺区域覆盖在深度图像上，根据区域内统计的思想，可以获取更准确的区域深度值，有利于后续确定非全卖空的空缺区域，提高缺货检测结果的精度。

（12）合并空缺区域：

将空缺区域1或空缺区域3、空缺区域4（第四空缺区域）进行合并，视为货架内所有的空缺区域，每个空缺区域带有检测框位置信息和深度信息。

（13）图像拼接：

对于RGB图像：

将步骤（1）中拍摄到的图像进行拼接，拼接成一个完整通道或者一个完整的货架，并且，在图像拼接过程中，将前面步骤获取的价签、商品、层板、层格、空缺区域进行合并、去重，映射至拼接之后的图像上。

通过上述可知，在一个实施例中，上述货架商品的缺货检测方法还可以包括：将每一货架RGB图像，输入利用深度学习方法预先训练好的目标检测模型，对所有的货架层板进行检测得到货架层板检测框；

将每一货架RGB图像拼接成完整货架图像，将商品检测框、价签检测框、层格检测框及所有的空缺区域进行合并和去重处理，映射至完整货架图像上，可以包括：将每一货架RGB图像拼接成完整货架图像，将商品检测框、价签检测框、层板检测框、层格检测框及所有的空缺区域进行合并和去重处理，映射至完整货架图像上。

具体实施时，在确定空缺区域时，融合了价签位置、商品位置、层板位置、视觉空缺、深度值信息，可以最终获得更准确的空缺区域。

（14）生成棚格：

对于拼接后的图像，可以划定每个商品的摆放区域，即商品的棚格区域：

方法1：

a.根据图像上价签的位置划定棚格，例如，如果商超中价签放置于商品左下位置，则从左往右的顺序，以第一个价签的左边缘为起点到下一个价签的左边缘为终点定为一个棚格的宽度，如果一个层板上没有价签，则将层板的两端定为一个棚格的宽度；

b.根据层板位置或者层格的区域限定棚格的高度。

方法2：

①前置性地，利用基于深度学习方法训练出一个用于检测棚格的目标检测模型。

具体的方法为：

a）收集若干图像，形成图像数据集；

b）对每一张图像中每种商品可能的摆放区域，定为该商品的棚格，人工划定标注为位置标签信息，最终形成标签信息集；

c）搭建一个深度神经网络模型，并利用上述的图像数据集和对应的标签信息集，基于回归的思想对网络模型进行训练，得到棚格检测模型；

②对于当前的RGB图像，将其送进训练好的棚格检测网络模型，直接输出货架上可能的棚格区域的检测框；

③棚格与最邻近的价签对应绑定，棚格区域代表的某个具体商品摆放的区域。或者统计棚格内每种商品的数量，将数量最多的商品定位该棚格代表的商品摆放的区域。

（15）调整棚格（可选）：

对于生成的棚格，可能与实际商品的位置摆放有一定的偏差，为了消除该偏差，根据商品识别结果与生成的棚格进行调整，将棚格的左右边界能包含当前位置附近所有对应的商品，最终获取更准确的商品摆放区域，如图3中中间的棚格区域“22”。

通过上述可知，在一个实施例中，上述货架商品的缺货检测方法还可以包括：

根据商品识别结果，对生成的棚格区域进行调整，将棚格区域的左右边界调整至能包含当前位置附近所有对应的商品，得到每一商品对应的调整后的棚格区域；

根据每一商品对应的棚格区域，对货架内所有的空缺区域进行划分，得到每一商品对应的空缺区域，包括：根据每一商品对应的调整后的棚格区域，对货架内所有的空缺区域进行划分，得到每一商品对应的空缺区域。

具体实施时，使用商品识别的结果对价签生成的棚格进行调整，可以获取更准确的商品售卖区域，在后续计算缺货率时更加准确。

（16）划分空缺区域：

考虑有些空缺区域横跨好多个棚格，所以根据棚格区域对空缺区域进行划分，如图3中的效果。

（17）去除细小的空缺区域：

考虑到商品实际摆放存在一些空隙，根据步骤（8）中反推出的空缺区域会存在细条的空缺区域（长度与宽带的比值大于5的条状空缺区域），或者在步骤（16）中切分的出比较细小的空缺区域，所以此处使用图像处理中形态学的方法，将细小的空缺区域直接去除。

通过上述可知，在一个实施例中，上述货架商品的缺货检测方法还可以包括：使用图像处理中形态学的方法，对所述每一货架RGB图像对应的第一空缺区域，或所述每一商品对应的空缺区域，进行条状空缺区域去除处理；所述条状空缺区域的长度与宽带的比值大于5。

具体实施时，去除细条区域，可以更准确地确定空缺区域，精度高。

（18）计算棚格体体积与缺货体积：

对于每个划分好的棚格，以棚格的宽为棚格体的宽w，以棚格的高为棚格体的高h，以步骤（11）中x2-x1的值为深度d，乘积w×h×d作为棚格体的体积V0；同理对于棚格内的空缺区域，根据其宽、高、深的信息计算每个空缺体的体积V1，若有多个空缺区域，则形成多个空缺体，相应的体积为V2、V3、V4....，最终合并空缺体的体积为Vs。

由于实际场景中，层格区域往往比商品高，所以在步骤（8）中反推出的空缺区域存在不符合实际的空缺，所以对于V0和Vs，在高度h的维度，乘以一个[0,1]尺度的离散值，高度越高的位置，权重越低，以此削弱棚格体和空缺体上部的影响程度，最终获取更准确的V0和Vs。

通过上述可知，在一个实施例中，上述货架商品的缺货检测方法还可以包括：对于棚格区域体体积及空缺区域缺货体体积，在高度的维度，乘以一个0到1的离散尺度值，以削弱棚格区域体和空缺区域缺货体上部的影响程度；其中，高度越高的位置，离散尺度值越低。

具体实施时，对于棚格区域和缺货区域乘以一个0到1的离散尺度值，可以削弱天然不符合实际的空缺区域，有利于后续提高缺货率的计算精度。

（19）确定缺货区域的信息：

根据步骤（14）的描述，每个棚格对应于不同商品。每个棚格内有对应的棚格体和缺货体，缺货率=Vs/V0，缺货区域即为空缺区域，可以根据其位置、宽度、高度、深度，在拼接的图像上进行二维展示或三维展示，如图6所示。最终可以报出：商品名为xxx的商品缺货率为xx%，位置为货架图上x层x列，或者直接画出区域。

通过上述可知，在一个实施例中，每一商品对应的棚格区域带有位置信息和深度信息；所述货架商品的缺货检测方法还可以包括：

根据每一商品对应的棚格区域的位置信息和深度信息，确定每一商品对应的棚格区域体体积；

根据每一商品对应的棚格区域体体积及空缺区域缺货体体积，确定每一商品的缺货率，即图4中“计算缺货率”的步骤。

具体实施时，与现有技术中，基于分配的思想，将价签附近的同属的商品分配给价签，按照数量或者面积阈值决定商品是否缺货的方案相比较，本发明实施例基于体积的方法计算缺货率，可以更准确计算全卖空和非全卖空占的缺货比例，获取更准确的缺货率。使用棚格区域和商品检测框进行空缺区域的反推，相比直接使用深度图像的深度信息获取空缺区域，本发明实施例可以获取更准确的区域，而且计算更简单，相比于基于深度学习直接计算缺货区域的方法，鲁棒性更高，模型训练的成本更低。

综上，本发明实施例可以获取货架上准确的商品空缺位置、获取每个商品准确的实际棚格区域，从而计算准确的商品缺货率，呈现出更符合视觉的商品缺货情况或者商品摆放饱和情况。

本发明实施例中还提供了一种货架商品的缺货检测装置，如下面的实施例所述。由于该装置解决问题的原理与货架商品的缺货检测方法相似，因此该装置的实施可以参见货架商品的缺货检测方法的实施，重复之处不再赘述。

图7为本发明实施例中货架商品的缺货检测装置12的结构示意图，如图7所示，该装置包括：

获取单元121，用于获取多张货架RGB图像及多张货架深度图像；

缺货区域检测单元122，用于针对每一货架RGB图像及每一货架深度图像，执行如下缺货区域检测的步骤：

将每一货架RGB图像，输入利用深度学习方法预先训练好的目标检测模型，对所有的商品进行检测得到商品检测框；对所有的电子价签进行检测得到价签检测框；对所有的货架层格检测得到货架层格检测框；

根据每一货架RGB图像对应商品检测框及货架层格检测框的位置信息，得到每一货架RGB图像对应的第一空缺区域；

根据每一货架RGB图像对应的价签检测框及对应的货架深度图像，确定每一价签检测框内区域像素点的第一平均深度值；根据每一货架RGB图像对应的第一空缺区域及对应的货架深度图像，确定每一第一空缺区域内区域像素点的第二平均深度值；根据深度值处于设定区间内的像素点，得到每一货架RGB图像对应的第四空缺区域；所述设定区间根据第一平均深度值和第二平均深度值确定；

将每一货架RGB图像对应的第一空缺区域和第四空缺区域合并，得到货架内所有的空缺区域；每一空缺区域带有位置信息和深度信息；

图像拼接单元123，用于将每一货架RGB图像拼接成完整货架图像，将商品检测框、价签检测框、层格检测框及所有的空缺区域进行合并和去重处理，映射至完整货架图像上；

空缺划分单元124，用于对于完整货架图像，划定每个商品的摆放区域，生成每一商品对应的棚格区域；根据每一商品对应的棚格区域，对货架内所有的空缺区域进行划分，得到每一商品对应的空缺区域；每一商品对应的空缺区域带有位置信息和深度信息；

缺货检测单元125，根据每一商品对应空缺区域的位置信息和深度信息，确定每一商品对应空缺区域缺货体体积作为缺货检测结果。

在一个实施例中，上述货架商品的缺货检测装置还可以包括商品识别单元，用于：

根据商品检测框的位置信息，裁剪出商品区域小图；

将裁剪出来的商品区域小图输入利用深度学习方法预先训练生成的特征提取模型进行特征提取；

将提取出的特征与预置的商品特征库中特征进行检索，计算提取出的特征与预置的商品特征库中特征之间的欧氏距离，取欧氏距离最小值对应的结果作为置信度最高的商品识别结果。

在一个实施例中，上述货架商品的缺货检测装置还可以包括调整单元，用于：根据商品识别结果，对生成的棚格区域进行调整，将棚格区域的左右边界调整至能包含当前位置附近所有对应的商品，得到每一商品对应的调整后的棚格区域；

所述空缺划分单元具体用于：根据每一商品对应的调整后的棚格区域，对货架内所有的空缺区域进行划分，得到每一商品对应的空缺区域。

在一个实施例中，上述货架商品的缺货检测装置还可以包括商品识别单元，用于：

根据价签检测框的位置信息，裁剪出价签区域小图；

将裁剪出来的价签区域小图输入利用深度学习方法预先训练生成的字符识别模型，识别出价签的文字信息；

将识别出的价签文字信息与预置的商品信息库中价签文字信息进行搜索匹配，将搜索匹配出的对应的商品信息作为价签的识别结果。

在一个实施例中，上述货架商品的缺货检测装置还可以包括：

空洞检测单元，用于利用所述目标检测模型对每一货架RGB图像中的空洞进行检测，得到第二空缺区域；

合并处理单元，用于将第一空缺区域与所述第二空缺区域进行融合合并，得到每一货架RGB图像对应的第三空缺区域；

将每一货架RGB图像对应的第一空缺区域和第四空缺区域合并，得到货架内所有的空缺区域，包括：将每一货架RGB图像对应的第三空缺区域和第四空缺区域合并，得到货架内所有的空缺区域。

在一个实施例中，上述货架商品的缺货检测装置还可以包括条状空缺区域去除单元，用于：使用图像处理中形态学的方法，对所述每一货架RGB图像对应的第一空缺区域，或所述每一商品对应的空缺区域，进行条状空缺区域去除处理；所述条状空缺区域的长度与宽带的比值大于5。

在一个实施例中，根据每一货架RGB图像对应的价签检测框及对应的货架深度图像，确定每一价签检测框内区域像素点的第一平均深度值，可以包括：将每一RGB图像中所有价签检测框覆盖在对应的货架深度图像上，并统计所有价签检测框内区域像素点的第一平均深度值；

根据每一货架RGB图像对应的第一空缺区域及对应的货架深度图像，确定每一第一空缺区域内区域像素点的第二平均深度值，可以包括：将每一货架RGB图像对应的第一空缺区域覆盖在对应的货架深度图像上，并统计第一空缺区域内所有像素点的第二平均深度值。

在一个实施例中，每一商品对应的棚格区域带有位置信息和深度信息；所述缺货检测单元还可以用于：

根据每一商品对应的棚格区域的位置信息和深度信息，确定每一商品对应的棚格区域体体积；

根据每一商品对应的棚格区域体体积及空缺区域缺货体体积，确定每一商品的缺货率。

在一个实施例中，上述货架商品的缺货检测装置还可以包括离散处理单元，用于：对于棚格区域体体积及空缺区域缺货体体积，在高度的维度，乘以一个0到1的离散尺度值，以削弱棚格区域体和空缺区域缺货体上部的影响程度；其中，高度越高的位置，离散尺度值越低。

在一个实施例中，上述货架商品的缺货检测方法还可以包括：层板检测单元，用于将每一货架RGB图像，输入利用深度学习方法预先训练好的目标检测模型，对所有的货架层板进行检测得到货架层板检测框；

所述图像拼接单元具体用于：将每一货架RGB图像拼接成完整货架图像，将商品检测框、价签检测框、层板检测框、层格检测框及所有的空缺区域进行合并和去重处理，映射至完整货架图像上。

本发明实施例中还提供了一种货架商品的缺货检测机器人，如下面的实施例所述。由于该机器人解决问题的原理与货架商品的缺货检测方法相似，因此该机器人的实施可以参见货架商品的缺货检测方法的实施，重复之处不再赘述。

图8为本发明实施例中货架商品的缺货检测机器人的结构示意图，如图8所示，该机器人包括：

拍摄装置11，包括：视觉相机111，用于拍摄多张货架RGB图像；深度相机112，用于拍摄多张货架深度图像；该拍摄装置即实现图4中的拍摄图片的步骤；

如上所述的货架商品缺货的检测装置12，用于根据多张货架RGB图像及多张货架深度图像，得到每一商品的缺货检测结果。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述货架商品的缺货检测方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述货架商品的缺货检测方法。

本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述货架商品的缺货检测方法。

本发明实施例提供的货架商品的缺货检测方案的有益技术效果是：

首先，本发明实施例将每一货架RGB图像，输入利用深度学习方法预先训练好的目标检测模型，对所有的商品进行检测得到商品检测框；对所有的电子价签进行检测得到价签检测框；对所有的货架层格检测得到货架层格检测框，精确得到各个检测框，为后续缺货区域检测奠定基础。

其次，与现有技术中直接使用深度图像的深度信息获取空缺区域，缺货区域检测的准确率低的方案相比较，本发明实施例基于货架视觉RGB图像及带有深度信息的货架深度图像，使用棚格区域和商品检测框进行空缺区域的反推，可以获取更准确的缺货区域。

再次，与先进行图像拼接再做检测和识别，太依赖图像拼接的效果，缺货区域检测的准确率低的方案相比较，本发明实施例在空缺区域检测之后进行图像拼接，并且在确定空缺区域时，融合了价签位置、商品位置、视觉空缺区域、深度值信息，可以最终获得更准确的空缺区域，进而可以提高缺货检测结果的准确率。

综上，本发明实施例提供的货架商品的缺货检测方案提高了缺货检测结果的准确率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种货架商品的缺货检测方法，其特征在于，包括：

获取多张货架RGB图像及多张货架深度图像；

针对每一货架RGB图像及每一货架深度图像，执行如下缺货区域检测的步骤：

将每一货架RGB图像，输入利用深度学习方法预先训练好的目标检测模型，对所有的商品进行检测得到商品检测框；对所有的电子价签进行检测得到价签检测框；对所有的货架层格检测得到货架层格检测框；

根据每一货架RGB图像对应商品检测框及货架层格检测框的位置信息，得到每一货架RGB图像对应的第一空缺区域；

根据每一货架RGB图像对应的价签检测框及对应的货架深度图像，确定每一价签检测框内区域像素点的第一平均深度值；根据每一货架RGB图像对应的第一空缺区域及对应的货架深度图像，确定每一第一空缺区域内区域像素点的第二平均深度值；根据深度值处于设定区间内的像素点，得到每一货架RGB图像对应的第四空缺区域；所述设定区间根据第一平均深度值和第二平均深度值确定；

将每一货架RGB图像对应的第一空缺区域和第四空缺区域合并，得到货架内所有的空缺区域；每一空缺区域带有位置信息和深度信息；

将每一货架RGB图像拼接成完整货架图像，将商品检测框、价签检测框、层格检测框及所有的空缺区域进行合并和去重处理，映射至完整货架图像上；

对于完整货架图像，划定每个商品的摆放区域，生成每一商品对应的棚格区域；根据每一商品对应的棚格区域，对货架内所有的空缺区域进行划分，得到每一商品对应的空缺区域；每一商品对应的空缺区域带有位置信息和深度信息；

根据每一商品对应空缺区域的位置信息和深度信息，确定每一商品对应空缺区域缺货体体积作为缺货检测结果。

2.如权利要求1所述的方法，其特征在于，还包括：

根据商品检测框的位置信息，裁剪出商品区域小图；

将裁剪出来的商品区域小图输入利用深度学习方法预先训练生成的特征提取模型进行特征提取；

将提取出的特征与预置的商品特征库中特征进行检索，计算提取出的特征与预置的商品特征库中特征之间的欧氏距离，取欧氏距离最小值对应的结果作为置信度最高的商品识别结果。

3.如权利要求2所述的方法，其特征在于，还包括：

根据商品识别结果，对生成的棚格区域进行调整，将棚格区域的左右边界调整至能包含当前位置附近所有对应的商品，得到每一商品对应的调整后的棚格区域；

根据每一商品对应的棚格区域，对货架内所有的空缺区域进行划分，得到每一商品对应的空缺区域，包括：根据每一商品对应的调整后的棚格区域，对货架内所有的空缺区域进行划分，得到每一商品对应的空缺区域。

4.如权利要求1所述的方法，其特征在于，还包括：

根据价签检测框的位置信息，裁剪出价签区域小图；

将裁剪出来的价签区域小图输入利用深度学习方法预先训练生成的字符识别模型，识别出价签的文字信息；

将识别出的价签文字信息与预置的商品信息库中价签文字信息进行搜索匹配，将搜索匹配出的对应的商品信息作为价签的识别结果。

5.如权利要求1所述的方法，其特征在于，还包括：

利用所述目标检测模型对每一货架RGB图像中的空洞进行检测，得到第二空缺区域；

将第一空缺区域与所述第二空缺区域进行融合合并，得到每一货架RGB图像对应的第三空缺区域；

将每一货架RGB图像对应的第一空缺区域和第四空缺区域合并，得到货架内所有的空缺区域，包括：将每一货架RGB图像对应的第三空缺区域和第四空缺区域合并，得到货架内所有的空缺区域。

6.如权利要求1所述的方法，其特征在于，还包括：使用图像处理中形态学的方法，对所述每一货架RGB图像对应的第一空缺区域，或所述每一商品对应的空缺区域，进行条状空缺区域去除处理；所述条状空缺区域的长度与宽带的比值大于5。

7.如权利要求1所述的方法，其特征在于，根据每一货架RGB图像对应的价签检测框及对应的货架深度图像，确定每一价签检测框内区域像素点的第一平均深度值，包括：将每一RGB图像中所有价签检测框覆盖在对应的货架深度图像上，并统计所有价签检测框内区域像素点的第一平均深度值；

根据每一货架RGB图像对应的第一空缺区域及对应的货架深度图像，确定每一第一空缺区域内区域像素点的第二平均深度值，包括：将每一货架RGB图像对应的第一空缺区域覆盖在对应的货架深度图像上，并统计第一空缺区域内所有像素点的第二平均深度值。

8.如权利要求1所述的方法，其特征在于，每一商品对应的棚格区域带有位置信息和深度信息；所述货架商品的缺货检测方法还包括：

根据每一商品对应的棚格区域的位置信息和深度信息，确定每一商品对应的棚格区域体体积；

根据每一商品对应的棚格区域体体积及空缺区域缺货体体积，确定每一商品的缺货率。

9.如权利要求8所述的方法，其特征在于，还包括：对于棚格区域体体积及空缺区域缺货体体积，在高度的维度，乘以一个0到1的离散尺度值，以削弱棚格区域体和空缺区域缺货体上部的影响程度；其中，高度越高的位置，离散尺度值越低。

10.如权利要求1所述的方法，其特征在于，还包括：将每一货架RGB图像，输入利用深度学习方法预先训练好的目标检测模型，对所有的货架层板进行检测得到货架层板检测框；

将每一货架RGB图像拼接成完整货架图像，将商品检测框、价签检测框、层格检测框及所有的空缺区域进行合并和去重处理，映射至完整货架图像上，包括：将每一货架RGB图像拼接成完整货架图像，将商品检测框、价签检测框、层板检测框、层格检测框及所有的空缺区域进行合并和去重处理，映射至完整货架图像上。

11.一种货架商品的缺货检测装置，其特征在于，包括：

获取单元，用于获取多张货架RGB图像及多张货架深度图像；

缺货区域检测单元，用于针对每一货架RGB图像及每一货架深度图像，执行如下缺货区域检测的步骤：

将每一货架RGB图像，输入利用深度学习方法预先训练好的目标检测模型，对所有的商品进行检测得到商品检测框；对所有的电子价签进行检测得到价签检测框；对所有的货架层格检测得到货架层格检测框；

根据每一货架RGB图像对应商品检测框及货架层格检测框的位置信息，得到每一货架RGB图像对应的第一空缺区域；

根据每一货架RGB图像对应的价签检测框及对应的货架深度图像，确定每一价签检测框内区域像素点的第一平均深度值；根据每一货架RGB图像对应的第一空缺区域及对应的货架深度图像，确定每一第一空缺区域内区域像素点的第二平均深度值；根据深度值处于设定区间内的像素点，得到每一货架RGB图像对应的第四空缺区域；所述设定区间根据第一平均深度值和第二平均深度值确定；

将每一货架RGB图像对应的第一空缺区域和第四空缺区域合并，得到货架内所有的空缺区域；每一空缺区域带有位置信息和深度信息；

图像拼接单元，用于将每一货架RGB图像拼接成完整货架图像，将商品检测框、价签检测框、层格检测框及所有的空缺区域进行合并和去重处理，映射至完整货架图像上；

空缺划分单元，用于对于完整货架图像，划定每个商品的摆放区域，生成每一商品对应的棚格区域；根据每一商品对应的棚格区域，对货架内所有的空缺区域进行划分，得到每一商品对应的空缺区域；每一商品对应的空缺区域及棚格区域均带有位置信息和深度信息；

缺货检测单元，用于根据每一商品对应空缺区域的位置信息和深度信息，确定每一商品对应空缺区域缺货体体积作为缺货检测结果。

12.一种货架商品的缺货检测机器人，其特征在于，包括：

拍摄装置，包括：视觉相机，用于拍摄多张货架RGB图像；深度相机，用于拍摄多张货架深度图像；

如权利要求11所述的货架商品缺货的检测装置，用于根据多张货架RGB图像及多张货架深度图像，得到每一商品的缺货检测结果。

13.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10任一所述方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至10任一所述方法。

15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至10任一所述方法。