CN114022999A - 一种自动售货机的缺货检测方法、装置、设备和介质 - Google Patents

Abstract

本发明公开了一种自动售货机的缺货检测方法、装置、设备和介质，自动售货机包括外壳以及设置在外壳内部的货架、摄像头和镜面，摄像头设置在货架上，镜面设置在外壳的内部侧壁表面，摄像头的镜头朝向镜面，以通过镜面获得货架的反射图像；方法包括：从摄像头获取反射图像；将反射图像输入训练后的神经网络模型，使得神经网络模型根据反射图像输出货架中每个货道的货物状态；根据货架中每个货道的货物状态，确定货架中每个货道是否处于缺货状态。本申请降低了摄像头的使用数量，也就大大降低了自动售货机的成本；本申请大大减少了数据处理量，既降低了数据处理设备的要求，也提高了每次检测货道是否缺货的效率。

Description

一种自动售货机的缺货检测方法、装置、设备和介质

技术领域

本发明涉及自动化技术领域，尤其涉及一种自动售货机的缺货检测方法、装置、设备和介质。

背景技术

自动售货机，又被称为24小时营业的微型超市，是一种能根据投入的钱币自动付货的机器。自动售货机是商业自动化的常用设备，它不受时间、地点的限制，能节省人力、方便交易。

通常情况下，为了监控自动售货机中货物的剩余情况，会在自动售货机中安装摄像头，通过对摄像头拍摄的图像进行分析，确定自动售货机是否需要补货。由于自动售货机内部空间有限，导致摄像头拍摄角度受到限制，通常情况下会在一个自动售货机中设置多个摄像头进行拍摄，导致自动售货机的成本较高。

发明内容

本申请实施例通过提供一种自动售货机的缺货检测方法、装置、设备和介质，解决了现有技术中自动售货机需要设置多个摄像头，导致成本较高的技术问题，实现了降低自动售货机的成本，自动监控售货机的缺货情况的技术效果。

第一方面，本申请提供了一种自动售货机的缺货检测方法，自动售货机包括外壳以及设置在外壳内部的货架、摄像头和镜面，摄像头设置在货架上，镜面设置在外壳的内部侧壁表面，摄像头的镜头朝向镜面，以通过镜面获得货架的反射图像；

方法包括：

从摄像头获取反射图像；

将反射图像输入训练后的神经网络模型，得到货架中每个货道的货物状态；

根据货架中每个货道的货物状态，确定货架中每个货道是否处于缺货状态。

进一步地，训练神经网络模型，包括：

获取反射图像样本集，其中，反射图像样本集中每个训练样本包括反射图像样本和反射图像样本中的货物标注信息；

利用每个反射图像样本和每个反射图像样本中的货物标注信息进行模型训练，得到神经网络模型。

进一步地，每个反射图像样本中的货物标注信息包括每个货道的货道编号、货物品类和剩余货物数量进行标注。

进一步地，每个反射图像样本中的货物标注信息还包括背景环境的标注信息。

进一步地，当确定货架中存在处于缺货状态的目标货道时，方法还包括：

获取目标货道的货道编号、货物品类和剩余货物数量，并将目标货道的货道编号、货物品类和剩余货物数量上传至管理服务器。

进一步地，将反射图像输入训练后的神经网络模型，得到货架中每个货道的货物状态，包括：

提取反射图像的图像特征向量；

将图像特征向量输入到神经网络模型中，得到货架中每个货道的的货物状态。

第二方面，本申请提供了一种自动售货机的缺货检测装置，装置包括：

获取模块，用于从摄像头获取反射图像；

输出模块，用于将反射图像输入训练后的神经网络模型，得到货架中每个货道的货物状态；

确定模块，用于根据货架中每个货道的货物状态，确定货架中每个货道是否处于缺货状态。

进一步地，输出模块，包括：

获取子模块，用于获取反射图像样本集，其中，反射图像样本集中每个训练样本包括反射图像样本和反射图像样本中的货物标注信息；

训练子模块，用于利用每个反射图像样本和每个反射图像样本中的货物标注信息进行模型训练，得到神经网络模型。

第三方面，本申请提供了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，处理器被配置为执行以实现一种自动售货机的缺货检测方法。

第四方面，本申请提供了一种非临时性计算机可读存储介质，当存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行实现一种自动售货机的缺货检测方法。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

本申请将摄像头设置在货架上，并在外壳侧壁上设置镜面，通过摄像头从镜面获取货架的反射图像，再将反射图像输入神经网络模型，通过神经网络模型输出货架中每个货道的货物状态，进而可以根据货物状态，确定货架中每个货道是否处于缺货状态。本申请可以只依赖于一个摄像头就能对自动售货机的缺货情况进行检测，降低了摄像头的使用数量，也就大大降低了自动售货机的成本；并且，本申请在只使用一个摄像头进行反射图像获取时，获取的反射图像数量较少，本申请通过获取的少量反射图像确定每个货道是否缺货，也就大大减少了数据处理量，既降低了数据处理设备的要求，也提高了每次检测货道是否缺货的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的一种自动售货机的结构示意图；

图2为本申请提供的一种自动售货机的缺货检测方法的流程示意图；

图3为本申请提供的自动售货机的货道结构示意图；

图4为本申请提供的一种自动售货机的缺货检测装置的结构示意图；

图5为本申请提供的一种电子设备的结构示意图。

附图标记：

1-外壳，2-镜面，3-摄像头，4-货架，5-拍摄路径，6-货道。

具体实施方式

本申请实施例通过提供一种自动售货机的缺货检测方法，解决了现有技术中自动售货机需要设置多个摄像头，导致成本较高的技术问题。

本申请实施例的技术方案为解决上述技术问题，总体思路如下：

一种自动售货机的缺货检测方法，自动售货机包括外壳1以及设置在外壳1内部的货架4、摄像头3和镜面2，摄像头3设置在货架4上，镜面2设置在外壳1的内部侧壁表面，摄像头3的镜头朝向镜面2，以通过镜面2获得货架4的反射图像；方法包括：从摄像头3获取反射图像；将反射图像输入训练后的神经网络模型，使得神经网络模型根据反射图像输出货架4中每个货道的货物状态；根据货架4中每个货道的货物状态，确定货架4中每个货道是否处于缺货状态。

本实施例将摄像头3设置在货架4上，并在外壳1侧壁上设置镜面2，通过摄像头3从镜面2获取货架4的反射图像，再将反射图像输入神经网络模型，通过神经网络模型输出货架4中每个货道的货物状态，进而可以根据货物状态，确定货架4中每个货道是否处于缺货状态。本实施例可以只依赖于一个摄像头3就能对自动售货机的缺货情况进行检测，降低了摄像头3的使用数量，也就大大降低了自动售货机的成本；并且，本实施例在只使用一个摄像头3进行反射图像获取时，获取的反射图像数量较少，本实施例通过获取的少量反射图像确定每个货道是否缺货，也就大大减少了数据处理量，既降低了数据处理设备的要求，也提高了每次检测货道是否缺货的效率。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

首先说明，本文中出现的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本实施例提供了如图1所示的一种自动售货机，自动售货机包括外壳1以及设置在外壳1内部的货架4、摄像头3和镜面2，摄像头3设置在货架4上，镜面2设置在外壳1的内部侧壁表面，摄像头3的镜头朝向镜面2，以通过镜面2获得货架4的反射图像。

其中，镜面2可以设置在自动售货机的正面(即设置橱窗的一面)，也可以设置在背面(即设置橱窗一侧的对面)。

当镜面2设置在自动售货机的正面时，镜面2采用单面镜(即一侧允许光线透过，另一侧则会反射的镜面)，且单面镜中能够反射的一侧朝向货架4，而单面镜允许光线透过的一侧则贴在橱窗上。当镜面2设置在自动售货机的背面时，对镜面2则没有要求。

相对于将镜面2设置在背面而言，将镜面2设置在自动售货机的正面，可以为摄像头3提供足够的亮度，使得摄像头3拍摄的画面更加清晰，进而可以提高图像质量，也就能够降低后期图像处理的难度，进而提高缺货识别的准确度。

本实施例中可以只采用一个摄像头。摄像头3主要设置在货架4的中部位置，使得通过一个摄像头3就能够获取镜面2中反射的货架4图像。

为了能够对如图1所示的自动售货机中的缺货情况进行监控，本实施例提供了如图2所示的一种自动售货机的缺货检测方法，方法可以应用于后台监控服务器，方法包括步骤S21-步骤S23。后台监控服务器可以通过有线或无线方式与摄像头3连接。

步骤S21，从摄像头3获取反射图像。

步骤S22，将反射图像输入训练后的神经网络模型，使得神经网络模型根据反射图像输出货架4中每个货道的货物状态。

步骤S23，根据货架4中每个货道的货物状态，确定货架4中每个货道是否处于缺货状态。

摄像头3对镜面2上的图像进行拍摄，得到的图像即为反射图像；将反射图像输入训练后的神经网络模型，即提取反射图像的图像特征向量，将图像特征向量输入到神经网络模型中，进而可以快速确定出货架4中每个货道的货物状态；根据每个货道的货物状态，确定货道是否缺货。

其中，训练神经网络模型，包括步骤S31-步骤S32。

步骤S31，获取反射图像样本集，其中，反射图像样本集中每个训练样本包括反射图像样本和反射图像样本中的货物标注信息；

步骤S32，利用每个反射图像样本和每个反射图像样本中的货物标注信息进行模型训练，得到神经网络模型。

如图3所示，货架4包括多个货道(图3中以四层货架，每层货架包括5个货道为例)。在步骤S31中，反射图像样本集中每个训练样本包括能够反映每个货道分别处于缺货、即将缺货、满货状态的反射图像样本。在实际操作时，反射图像样本集中包括各个货道分别处于缺货、即将缺货、满货状态时进行排列组合后的反射图像样本。即每个反射图像样本中的货物标注信息包括每个货道的货道编号、货物品类和剩余货物数量进行标注。

在步骤S32中，对反射图像样本集中的每个反射图像样本中的每个货道的货道编号、货物品类和剩余货物数量进行标注。当镜面2为半透明镜面时，还需要对每个反射图像样本中的背景环境进行标注，以便于区分背景环境和货道图像。即每个反射图像样本中的货物标注信息还包括背景环境的标注信息。其中，货道编号可以如图3所示的编号11、12、13、14、15等。货物品类则可以根据自动售货机中预先安排的货物种类进行设定。剩余货物数量则可以用百分比或者数量来表示。

对待训练模型进行训练，即是确定待训练模型中的超参数，进而得到能够输出每个货道的货物状态的神经网络模型。在合理范围内，当反射图像样本集中的样本数量越多、样本质量越高、训练次数越多，得到的神经网络模型的准确性就会越高。

此外，在将反射图像输入训练后的神经网络模型之前，可以先对处于反射图像的边缘区域的边缘图像进行增强或修复。如图3所示，可以认为货道11、12、13、14、15、25、35、45、44、43、42、41、31、21是处于反射图像的边缘区域，这些货道所对应的图像区域也就是边缘图像。由于摄像头3处于货架4中部进行拍摄(假设摄像头3处于货道23和33之间的位置)，可能会导致发射图像的边缘区域模糊化，因此，可以先对反射图像的边缘区域的边缘图像进行增强或修复，再将反射图像输入神经网络模型，进行货道的货物状态的识别。其中，具体的增强技术和修复技术可以参考图像处理的相关技术。

当识别出货道的货物状态之后，就能够确定哪些货道处于缺货状态，进而可以获取目标货道的货道编号、货物品类和剩余货物数量，并将目标货道的货道编号、货物品类和剩余货物数量上传至管理服务器，便于补货工作人员能够通过管理服务器及时知晓自动售货机的缺货状态，进而对自动售货机进行及时补货。其中，管理服务器与后台监控服务器连接。

综上所述，本实施例将摄像头3设置在货架4上，并在外壳1侧壁上设置镜面2，通过摄像头3从镜面2获取货架4的反射图像，再将反射图像输入神经网络模型，通过神经网络模型输出货架4中每个货道的货物状态，进而可以根据货物状态，确定货架4中每个货道是否处于缺货状态。本实施例可以只依赖于一个摄像头3就能对自动售货机的缺货情况进行检测，降低了摄像头3的使用数量，也就大大降低了自动售货机的成本；并且，本实施例在只使用一个摄像头3进行反射图像获取时，获取的反射图像数量较少，本实施例通过获取的少量反射图像确定每个货道是否缺货，也就大大减少了数据处理量，既降低了数据处理设备的要求，也提高了每次检测货道是否缺货的效率。

基于同一发明构思，本实施例提供了如图4所示的一种自动售货机的缺货检测装置，装置包括：

获取模块41，用于从摄像头3获取反射图像；

输出模块42，用于将反射图像输入训练后的神经网络模型，使得神经网络模型根据反射图像输出货架4中每个货道的货物状态；

确定模块43，用于根据货架4中每个货道的货物状态，确定货架4中每个货道是否处于缺货状态。

输出模块42，包括：

获取子模块，用于获取反射图像样本集，其中，反射图像样本集中每个训练样本包括反射图像样本和反射图像样本中的货物标注信息；

训练子模块，用于利用每个反射图像样本和每个反射图像样本中的货物标注信息进行模型训练，得到神经网络模型。

上传模块，用于当确定货架4中存在处于缺货状态的目标货道时，获取目标货道的货道编号、货物品类和剩余货物数量，并将目标货道的货道编号、货物品类和剩余货物数量上传至管理服务器。

修复模块，用于在将反射图像输入训练后的神经网络模型之前，对处于反射图像的边缘区域的边缘图像进行增强或修复。

基于同一发明构思，本实施例提供了如图5所示的一种电子设备，包括：

处理器；

用于存储处理器51可执行指令的存储器52；

其中，处理器51被配置为执行以实现一种自动售货机的缺货检测方法。

基于同一发明构思，本实施例提供了一种非临时性计算机可读存储介质，当存储介质中的指令由电子设备的处理器51执行时，使得电子设备能够执行实现一种自动售货机的缺货检测方法。

由于本实施例所介绍的电子设备为实施本申请实施例中信息处理的方法所采用的电子设备，故而基于本申请实施例中所介绍的信息处理的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中信息处理的方法所采用的电子设备，都属于本申请所欲保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种自动售货机的缺货检测方法，其特征在于，所述自动售货机包括外壳以及设置在所述外壳内部的货架、摄像头和镜面，所述摄像头设置在所述货架上，所述镜面设置在所述外壳的内部侧壁表面，所述摄像头的镜头朝向所述镜面，以通过所述镜面获得所述货架的反射图像；

所述方法包括：

从所述摄像头获取所述反射图像；

将所述反射图像输入训练后的神经网络模型，得到所述货架中每个货道的货物状态；

根据所述货架中每个货道的货物状态，确定所述货架中每个货道是否处于缺货状态。

2.如权利要求1所述的方法，其特征在于，训练所述神经网络模型，包括：

获取反射图像样本集，其中，所述反射图像样本集中每个训练样本包括反射图像样本和反射图像样本中的货物标注信息；

利用每个反射图像样本和每个反射图像样本中的货物标注信息进行模型训练，得到所述神经网络模型。

3.如权利要求2所述的方法，其特征在于，所述每个反射图像样本中的货物标注信息包括每个货道的货道编号、货物品类和剩余货物数量进行标注。

4.如权利要求3所述的方法，其特征在于，所述每个反射图像样本中的货物标注信息还包括背景环境的标注信息。

5.如权利要求1所述的方法，其特征在于，当确定所述货架中存在处于缺货状态的目标货道时，所述方法还包括：

获取所述目标货道的货道编号、货物品类和剩余货物数量，并将所述目标货道的货道编号、货物品类和剩余货物数量上传至管理服务器。

6.如权利要求1所述的方法，其特征在于，所述将所述反射图像输入训练后的神经网络模型，得到所述货架中每个货道的货物状态，包括：

提取所述反射图像的图像特征向量；

将所述图像特征向量输入到所述神经网络模型中，得到所述货架中每个货道的的货物状态。

7.一种自动售货机的缺货检测装置，其特征在于，所述装置包括：

获取模块，用于从所述摄像头获取所述反射图像；

输出模块，用于将所述反射图像输入训练后的神经网络模型，得到所述货架中每个货道的货物状态；

确定模块，用于根据所述货架中每个货道的货物状态，确定所述货架中每个货道是否处于缺货状态。

8.如权利要求7所述的装置，其特征在于，所述输出模块，包括：

获取子模块，用于获取反射图像样本集，其中，所述反射图像样本集中每个训练样本包括反射图像样本和反射图像样本中的货物标注信息；

训练子模块，用于利用每个反射图像样本和每个反射图像样本中的货物标注信息进行模型训练，得到所述神经网络模型。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行以实现如权利要求1至6中任一项所述的一种自动售货机的缺货检测方法。

10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行实现如权利要求1至6中任一项所述的一种自动售货机的缺货检测方法。

Images