CN110929668A - 一种基于无人货架的商品检测方法和装置 - Google Patents

Abstract

本发明实施例提供了一种基于无人货架的商品检测方法和装置，其中，所述方法包括：实时获取无人货架中商品的视频帧序列；对所述视频帧序列中相邻两帧图像进行分析得到分析结果；当所述分析结果表示所述商品存在移动情况时，识别出存在移动情况的商品所在的感兴趣区域图像；利用训练完毕的神经网络模型对所述感兴趣区域图像进行商品检测。本发明实施例识别出移动商品所在的感兴趣区域图像，减少商品检测的范围，可以提高商品检测的效率，降低其他商品、背景、前景等对商品检测的影响，进而提高了商品检测的准确度，避免造成意外报警的问题。

Description

一种基于无人货架的商品检测方法和装置

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种基于无人货架的商品检测方法和装置。

背景技术

新零售是近年来最火的概念之一。移动互联网的发达、新技术/新应用的出现带来了支付的便捷与供应链革命，加之新生事物层出不穷和国内消费观念的短暂宽容，使得更多的零售新业态得以出现。无人便利店刚成为全社会热门话题不久，无人货架的热度后来居上，大有之前的共享单车的火热势头。

无人货架指在一个货架上摆放一些食品、饮品、玩具等商品，贴上二维码，以先付钱再出货的方式进行无人自售的一种销售终端，常见于写字楼、医院、地铁等。无人货架具有以下优点：第一，前期投资较小、技术门槛较低；第二，由于无人货架主要布局在写字楼、医院等空白市场，所以竞争压力较小；第三，线下新流量入口空间较大，对各大电商平台具有吸引力。

商品检测是无人货架的一项重要功能，即检测无人货架中商品的种类和数量。通常，在无人货架中设置计数器等感应装置，通过计数器对每类商品的售卖数量进行检测，实现商品检测功能，但是商品检测的准确度不高且容易造成错误报警。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于无人货架的商品检测方法和装置。

为了解决上述问题，本发明实施例公开了一种基于无人货架的商品检测方法，包括：实时获取无人货架中商品的视频帧序列；对所述视频帧序列中相邻两帧图像进行分析得到分析结果；当所述分析结果表示所述商品存在移动情况时，识别出存在移动情况的商品所在的感兴趣区域图像；利用训练完毕的神经网络模型对所述感兴趣区域图像进行商品检测。

可选地，所述对所述视频帧序列中相邻两帧图像进行分析得到分析结果的步骤，包括：将所述视频帧序列中相邻两帧图像中相对应的像素点的像素值相减得到像素差值；将所述像素差值的绝对值与预设的像素阈值进行比较得到所述分析结果。

可选地，所述当所述分析结果表示所述商品存在移动情况时，识别出存在移动情况的商品所在的感兴趣区域图像的步骤，包括：当所述绝对值大于所述像素阈值时，对所述相邻两帧图像中的当前帧图像进行运动检测得到所述感兴趣区域图像。

可选地，在所述识别出存在移动情况的商品所在的感兴趣区域图像的步骤之后，所述方法还包括：按照预设的区域阈值增大所述感兴趣区域图像的面积。

可选地，所述利用训练完毕的神经网络模型对所述感兴趣区域图像进行商品检测的步骤，包括：利用训练完毕的旋转候选区域网络模型对所述增大面积后的所述感兴趣区域图像进行商品检测。

可选地，在所述实时获取无人货架中商品的视频帧序列的步骤之后，所述方法还包括：按照最小值滤波法对所述视频帧序列中的每帧图像进行去噪处理。

本发明实施例还公开了一种基于无人货架的商品检测装置，包括：获取模块，用于实时获取无人货架中商品的视频帧序列；分析模块，用于对所述视频帧序列中相邻两帧图像进行分析得到分析结果；识别模块，用于当所述分析结果表示所述商品存在移动情况时，识别出存在移动情况的商品所在的感兴趣区域图像；检测模块，用于利用训练完毕的神经网络模型对所述感兴趣区域图像进行商品检测。

可选地，所述分析模块，包括：计算模块，用于将所述视频帧序列中相邻两帧图像中相对应的像素点的像素值相减得到像素差值；比较模块，用于将所述像素差值的绝对值与预设的像素阈值进行比较得到所述分析结果。

可选地，所述识别模块，用于当所述绝对值大于所述像素阈值时，对所述相邻两帧图像中的当前帧图像进行运动检测得到所述感兴趣区域图像。

可选地，所述装置还包括：扩展模块，用于在所述识别模块识别出存在移动情况的商品所在的感兴趣区域图像之后，按照预设的区域阈值增大所述感兴趣区域图像的面积；所述检测模块，用于利用训练完毕的旋转候选区域网络模型对所述增大面积后的所述感兴趣区域图像进行商品检测；所述装置还包括：预处理模块，用于在所述获取模块实时获取无人货架中商品的视频帧序列之后，按照最小值滤波法对所述视频帧序列中的每帧图像进行去噪处理。

本发明实施例包括以下优点：

本发明实施例实时获取无人货架中商品的视频帧序列，对视频帧序列中相邻两帧图像进行分析得到分析结果。当分析结果表示商品存在移动情况时，识别出存在移动情况的商品所在的感兴趣区域图像，进而利用训练完毕的神经网络模型对感兴趣区域图像进行商品检测。本发明实施例通过对相邻两帧的图像进行分析，以判断无人货架中的商品是否发生移动情况。当无人货架中出现移动的商品时，一种原因是用户购买商品；另一种原因是商品意外移动。识别出移动商品所在的感兴趣区域图像，减少商品检测的范围，可以提高商品检测的效率，降低其他商品、背景、前景等对商品检测的影响，进而提高了商品检测的准确度，避免造成意外报警的问题。

附图说明

图1是本发明的一种基于无人货架的商品检测方法实施例的步骤流程图；

图2是本发明的一种旋转候选区域网络模型的结构示意图；

图3是本发明的一种基于无人货架的商品检测装置实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例在深度学习飞速发展的基础之上，通过对商品的相邻两帧图像进行分析，以判断商品是否存在移动情况。当商品移动时，识别出移动商品的感兴趣区域(Region Of Interest，ROI)图像，进而利用神经网络模型对感兴趣区域图像进行商品检测。

参照图1，示出了本发明的一种基于无人货架的商品检测方法实施例的步骤流程图，该方法具体可以包括如下步骤：

步骤101，实时获取无人货架中商品的视频帧序列。

在本发明的实施例中，可以通过设置在无人货架中的摄像头等视频采集装置，实时地对无人货架中的商品进行视频采集，以获取无人货架中商品的视频帧序列。

在实际应用中，可以采用任意品牌、任意型号、任意参数的摄像头对商品进行视频采集。例如，某品牌、型号的一款摄像头的成像参数为640×480分辨率，即采集得到的视频帧序列中每一帧图像的分辨率为640×480。为了提高视频帧序列中每一帧图像的清晰度，可以采用成像参数更高的摄像头，如1920×1080等等，本发明实施例对摄像头的品牌、型号、参数等不做具体限制。

由于无人货架中存在多层的商品，所以可以为每层商品分别设置对应的摄像头。各层的摄像头负责采集所在层的商品的视频帧序列。各层的摄像头可以设置于各层商品的正上方，且距离商品一定高度的位置。摄像头设置的高度由摄像头的参数、无人货架各层的面积等因素决定，通常可以为几厘米，如4.5厘米，保证采集到的视频帧序列中每一帧图像可以正好覆盖整层的商品。

步骤102，对视频帧序列中相邻两帧图像进行分析得到分析结果。

在本发明的实施例中，通过对视频帧序列中相邻两帧图像进行分析，判断商品是否移动，进而对移动商品所在的感兴趣区域图像进行商品检测。可以采用帧间差分法对相邻两帧图像进行分析。帧间差分法是一种通过对视频帧序列的连续两帧图像做差分运算获取运动目标轮廓的方法。当视频帧序列中出现商品移动时，相邻两帧图像之间会出现较明显的差别。将相邻两帧图像中相对应的像素点的像素值相减得到像素差值，再将像素差值的绝对值与预设的像素阈值进行比较，将比较结果作为利用帧间差分法对相邻两帧图像进行分析的分析结果。

具体地，可以利用如下公式表示帧间差分法：

其中，D(x,y)为连续两帧图像之间的差分图像，I(t)和I(t-1)分别为t时刻和t-1时刻的图像，T为差分图像二值化时选取的阈值，即像素阈值，当t时刻的图像与t-1时刻的图像的对应像素点的像素值的差值的绝对值大于像素阈值时，D(x,y)＝1表示商品存在移动情况；当t时刻的图像与t-1时刻的图像的对应像素点的像素值的差值的绝对值小于或等于像素阈值时，D(x,y)＝0表示商品不存在移动情况。

通常情况下，无人货架中没有配置独立的光源为摄像头进行补光，导致摄像头采集到的视频帧序列存在噪声。在本发明的一种优选实施例中，在上述步骤101之后，且在上述步骤102之前，还可以对视频帧序列进行预处理操作，以去除视频帧序列中的噪声。在实际应用中，可以采用最小值滤波法对视频帧序列中的每一帧图像进行去噪处理。最小值滤波法可以对每一帧图像按照各像素点的像素值进行排序，将中心像素点的像素值与排序后的最小像素值进行比较，如果中心像素点的像素值小于最小像素值，则将中心像素点的像素值替换为最小像素值；如果中心像素点的像素值大于或等于最小像素值，则保持中心像素点的像素值不变。

步骤103，当分析结果表示商品存在移动情况时，识别出存在移动情况的商品所在的感兴趣区域图像。

在本发明的实施例中，若相邻两帧图像中相对应的像素点的像素值的差值的绝对值大于像素阈值，则将该像素点作为移动商品的像素点。当相邻两帧图像中相对应的像素点的像素值的差值的绝对值大于像素阈值时，可以对相邻两帧图像中当前帧图像进行运动检测得到感兴趣区域图像。

在对当前帧图像进行运动检测时，可以采用前景检测算法对当前帧图像进行检测，例如，采用Vibe算法对当前帧图像进行检测。Vibe算法时一种基于背景更新的前景检测算法。Vibe算法的原理是通过提取像素点N周围的像素值及该像素点N在以前帧的像素值建立像素点的样本集，然后再将另一帧该像素点N的像素值与样本集中的各像素值分别进行比较，如果该像素点N的像素值与样本集中的像素值的距离大于某距离阈值，则认为该像素点N为前景像素点；如果该像素点N的像素值与样本集中的像素值的距离小于或等于上述距离阈值，则认为该像素点N为背景像素点。

为了随着时间的推移准确地检测出移动的商品，需要对样本集进行不断地更新，以适应图像的不断变化，例如，光照的变化、背景的变更等等。通常利用保守的更新策略对样本集进行更新，即前景像素点永远不用于填充背景。比如初始化时一个像素点被检测为移动的商品的像素点，则在保守的更新策略下，该像素点永远会作为移动的商品的像素点。除此之外，还需要对前景像素点进行计数。如果某个像素点连续多次被检测为前景像素点，则将该像素点更新为背景像素点。本发明实施例采用的Vibe算法将保守的更新策略和前景像素点计数方法作为整体的更新策略。

当分析结果表示商品不存在移动情况时，重新执行上述步骤102。

步骤104，利用训练完毕的神经网络模型对感兴趣区域图像进行商品检测。

由于无人货架中的商品相对于摄像头的角度不固定，而且受鱼眼摄像机的成像影响，导致商品在视频帧序列中的角度存在多种情况。若利用常见的目标检测算法对感兴趣区域图像进行商品检测，会造成背景区域太多的问题，不利于商品检测。在本发明的实施例中，可以采用训练完毕的旋转候选区域网络(Revolve Region Proposal Network，RRPN)模型对感兴趣区域图像进行商品检测。旋转候选区域网络模型的结构图如图2所示，使用超分辨率测试序列(Visual Geometry Group，VGG)16作为特征提取主干网络，从感兴趣区域图像中提取出特征图，将特征图输入至旋转候选区域网络模型，输出包括候选框的类别和旋转矩形框的回归。旋转感兴趣区域池化层将候选框映射到特征图上，得到商品检测结果。

本发明实施例中的旋转候选区域网络模型可以通过大量的包含标注数据的商品样本数据进行训练得到，本发明实施例对标注数据、商品样本数据和训练过程等不做具体限制。

在本发明的一种优选实施例中，在识别出感兴趣区域图像之后，可以根据预设的区域阈值将感兴趣区域图像的面积进行增大，例如，将感兴趣区域图像的长和宽均增加10％，在感兴趣区域图像所在的帧图像中，按照长和宽均增加10％的比例，增加感兴趣区域图像的面积，进而提升商品检测的速率。

本发明实施例实时获取无人货架中商品的视频帧序列，对视频帧序列中相邻两帧图像进行分析得到分析结果。当分析结果表示商品存在移动情况时，识别出存在移动情况的商品所在的感兴趣区域图像，进而利用训练完毕的神经网络模型对感兴趣区域图像进行商品检测。本发明实施例通过对相邻两帧的图像进行分析，以判断无人货架中的商品是否发生移动情况。当无人货架中出现移动的商品时，一种原因是用户购买商品；另一种原因是商品意外移动。识别出移动商品所在的感兴趣区域图像，减少商品检测的范围，可以提高商品检测的效率，降低其他商品、背景、前景等对商品检测的影响，进而提高了商品检测的准确度，避免造成意外报警的问题。

本发明实施例在采集到视频帧序列之后，可以对视频帧序列进行去噪操作，降低视频帧序列中的噪声对后续分析结果的影响。

本发明实施例识别出感兴趣区域图像，对感兴趣区域图像进行商品检测，避免对视频帧序列中的每一帧图像进行商品检测，减少了商品检测的计算量。

本发明实施例将识别出的感兴趣区域图像的面积进行适量扩大，减少商品检测时候选框的数量，从而提升了商品检测的速率。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图3，示出了本发明的一种基于无人货架的商品检测装置实施例的结构框图，该装置具体可以包括如下模块：

获取模块31，用于实时获取无人货架中商品的视频帧序列；

分析模块32，用于对所述视频帧序列中相邻两帧图像进行分析得到分析结果；

识别模块33，用于当所述分析结果表示所述商品存在移动情况时，识别出存在移动情况的商品所在的感兴趣区域图像；

检测模块34，用于利用训练完毕的神经网络模型对所述感兴趣区域图像进行商品检测。

在本发明的一种优选实施例中，所述分析模块32，包括：

计算模块321，用于将所述视频帧序列中相邻两帧图像中相对应的像素点的像素值相减得到像素差值；

比较模块322，用于将所述像素差值的绝对值与预设的像素阈值进行比较得到所述分析结果。

在本发明的一种优选实施例中，所述识别模块33，用于当所述绝对值大于所述像素阈值时，对所述相邻两帧图像中的当前帧图像进行运动检测得到所述感兴趣区域图像。

在本发明的一种优选实施例中，所述装置还包括：

扩展模块35，用于在所述识别模块33识别出存在移动情况的商品所在的感兴趣区域图像之后，按照预设的区域阈值增大所述感兴趣区域图像的面积；

所述检测模块34，用于利用训练完毕的旋转候选区域网络模型对所述增大面积后的所述感兴趣区域图像进行商品检测；

所述装置还包括：

预处理模块36，用于在所述获取模块31实时获取无人货架中商品的视频帧序列之后，按照最小值滤波法对所述视频帧序列中的每帧图像进行去噪处理。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种基于无人货架的商品检测方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于无人货架的商品检测方法，其特征在于，包括：

实时获取无人货架中商品的视频帧序列；

对所述视频帧序列中相邻两帧图像进行分析得到分析结果；

当所述分析结果表示所述商品存在移动情况时，识别出存在移动情况的商品所在的感兴趣区域图像；

利用训练完毕的神经网络模型对所述感兴趣区域图像进行商品检测。

2.根据权利要求1所述的方法，其特征在于，所述对所述视频帧序列中相邻两帧图像进行分析得到分析结果的步骤，包括：

将所述视频帧序列中相邻两帧图像中相对应的像素点的像素值相减得到像素差值；

将所述像素差值的绝对值与预设的像素阈值进行比较得到所述分析结果。

3.根据权利要求2所述的方法，其特征在于，所述当所述分析结果表示所述商品存在移动情况时，识别出存在移动情况的商品所在的感兴趣区域图像的步骤，包括：

当所述绝对值大于所述像素阈值时，对所述相邻两帧图像中的当前帧图像进行运动检测得到所述感兴趣区域图像。

4.根据权利要求1至3中任一项所述的方法，其特征在于，在所述识别出存在移动情况的商品所在的感兴趣区域图像的步骤之后，所述方法还包括：

按照预设的区域阈值增大所述感兴趣区域图像的面积。

5.根据权利要求4所述的方法，其特征在于，所述利用训练完毕的神经网络模型对所述感兴趣区域图像进行商品检测的步骤，包括：

利用训练完毕的旋转候选区域网络模型对所述增大面积后的所述感兴趣区域图像进行商品检测。

6.根据权利要求1所述的方法，其特征在于，在所述实时获取无人货架中商品的视频帧序列的步骤之后，所述方法还包括：

按照最小值滤波法对所述视频帧序列中的每帧图像进行去噪处理。

7.一种基于无人货架的商品检测装置，其特征在于，包括：

获取模块，用于实时获取无人货架中商品的视频帧序列；

分析模块，用于对所述视频帧序列中相邻两帧图像进行分析得到分析结果；

识别模块，用于当所述分析结果表示所述商品存在移动情况时，识别出存在移动情况的商品所在的感兴趣区域图像；

检测模块，用于利用训练完毕的神经网络模型对所述感兴趣区域图像进行商品检测。

8.根据权利要求7所述的装置，其特征在于，所述分析模块，包括：

计算模块，用于将所述视频帧序列中相邻两帧图像中相对应的像素点的像素值相减得到像素差值；

比较模块，用于将所述像素差值的绝对值与预设的像素阈值进行比较得到所述分析结果。

9.根据权利要求8所述的装置，其特征在于，所述识别模块，用于当所述绝对值大于所述像素阈值时，对所述相邻两帧图像中的当前帧图像进行运动检测得到所述感兴趣区域图像。

10.根据权利要求7至9中任一项所述的装置，其特征在于，所述装置还包括：

扩展模块，用于在所述识别模块识别出存在移动情况的商品所在的感兴趣区域图像之后，按照预设的区域阈值增大所述感兴趣区域图像的面积；

所述检测模块，用于利用训练完毕的旋转候选区域网络模型对所述增大面积后的所述感兴趣区域图像进行商品检测；

所述装置还包括：

预处理模块，用于在所述获取模块实时获取无人货架中商品的视频帧序列之后，按照最小值滤波法对所述视频帧序列中的每帧图像进行去噪处理。

Images