CN108961287B - 智能货架触发方法、智能货架系统、存储介质及电子设备 - Google Patents

Abstract

本发明提供一种智能货架触发方法、智能货架系统、存储介质及电子设备。本发明提供的智能货架触发方法，包括：先根据货架图像信息以及第一触发算法判断智能货架系统是否处于被触发的状态，若判断结果为是，则继续根据货架图像信息以及第二触发算法判断智能货架系统是否处于被触发的状态，第二触发算法的触发条件为预设物体图像，若判断结果为是，则智能货架系统进入触发状态，处理器与服务器进行数据交互。本发明提供的智能货架触发方法，有效地避免了由于后台服务器之间的数据持续传输就会导致大量的网络带宽和计算资源的浪费。

Description

智能货架触发方法、智能货架系统、存储介质及电子设备

技术领域

本发明涉及新零售技术领域，尤其涉及一种智能货架触发方法、智能货架系统、存储介质及电子设备。

背景技术

在消费升级的驱动下，新零售这一新兴业态应运而生，通过运用大数据、人工智能等先进技术手段，对商品的生产、流通与销售过程进行升级改造，进而重塑业态结构与生态圈，并对线上服务、线下体验以及现代物流进行深度融合。

其中，为了满足消费升级背景下人们的种种新兴消费需求，许多厂家均以线下为切入点，通过搭建智慧消费场景以及无人零售系统来进军新零售行业。现有的无人零售大多都是依赖多传感器来获取场景信息，而为了获取足够多的场景数据，往往需要部署大量的传感器，例如，一个长80cm、高30cm、深30cm的货架格子上就可能存在10个以上的视觉传感器来同时获取场景信息。可见，在实际应用过程中，这种多传感器同时获取场景数据的开销是巨大，例如，一个货格的10个视觉传感器同时以30帧/秒进行数据传输，远程后台服务器就需要承受300帧/秒的计算压力，这对于网络带宽和计算资源都有一定的开销。

但是，在货架的实际使用过程中，多传感器和后台服务器之间并不是一直需要进行数据传输的，尤其是针对一些消费者较少的消费场景，例如深夜的无人超市，此时，多传感器和后台服务器之间的数据持续传输就会导致大量的网络带宽和计算资源的浪费。

发明内容

本发明提供一种智能货架触发方法、智能货架系统、存储介质及电子设备，以解决现有技术中由于多传感器和后台服务器之间的数据持续传输所导致大量的网络带宽和计算资源的浪费的技术问题。

第一方面，本发明提供一种智能货架触发方法，应用于所述智能货架系统，所述系统包括：货架、摄像头、处理器以及服务器；所述摄像头用于获取货架图像信息，其中，所述货架图像信息为所述货架内侧的图像；所述处理器分别与所述摄像头以及所述服务器连接；所述方法，包括：

根据所述货架图像信息以及第一触发算法判断所述智能货架系统是否处于被触发的状态；

若判断结果为是，则根据所述货架图像信息以及第二触发算法判断所述智能货架系统是否处于被触发的状态，所述第二触发算法的触发条件为预设物体图像；

若判断结果为是，则所述智能货架系统进入触发状态，其中，当所述智能货架系统处于所述触发状态时，所述处理器与所述服务器进行数据交互。

在一种可能的设计中，所述根据货架图像信息以及第一触发算法判断所述智能货架系统是否处于被触发的状态，包括：

利用混合高斯模型对所述货架图像信息中的静态背景进行建模，得到背景模型；

根据所述背景模型提取所述货架图像信息中的第一前景像素；

根据形态学去噪法对所述第一前景像素进行去噪，得到第二前景像素；

将所述第二前景像素进行连通与分割处理，以形成封闭区域；

判断所述封闭区域的面积是否大于预设的第一阈值。

在一种可能的设计中，所述根据货架图像信息以及第一触发算法判断所述智能货架系统是否处于被触发的状态，包括：

获取第一帧图像与第二帧图像之间的第一差分区域，其中，所述第一帧图像与第二帧图像为所述货架图像信息中相邻的两帧；

根据形态学去噪法对所述第一差分区域进行去噪，得到第二差分区域；

根据梯度法对所述第二差分区域进行轮廓识别，并计算包围所述轮廓的最小凸多边形；

判断所述最小凸多边形的面积是否大于预设的第二阈值。

在一种可能的设计中，所述根据所述货架图像信息以及第二触发算法判断所述智能货架系统是否处于被触发的状态，包括：

根据手部检测模型判断所述货架图像信息中是否包含手部图像信息，其中，所述手部检测模型为将手部图片输入神经网络进行训练后得到的识别模型。

在一种可能的设计中，

所述系统包括：N个摄像头、N个处理器，其中，每个所述摄像头分别对应一个所述处理器，并且N为大于或等于2的整数；

第1摄像头至第N摄像头空间位置依次相邻；

判断第M摄像头获取的第M视频信息与第M+1摄像头获取的第M+1视频信息是否时间相交，其中，所述第M摄像头和所述第M+1摄像头为空间相邻的两个摄像头，M为整数，并且1≤M≤N-1；

若判断结果为是，则将所述第M视频信息和所述第M+1视频信息归类在第一事件集合中。

第二方面，本发明还提供一种智能货架系统，包括：获取模块、处理模块、计算模块以及触发模块；

所述获取模块用于获取货架图像信息，其中，所述货架图像信息包括货架内侧以及所述货架周围的图像；

所述处理模块分别与所述获取模块以及所述计算模块连接；

所述处理模块，还用于根据所述货架图像信息以及第一触发算法判断所述智能货架系统是否处于被触发的状态；

所述处理模块，还用于根据所述货架图像信息以及第二触发算法判断所述智能货架系统是否处于被触发的状态，所述第二触发算法的触发条件为预设物体图像；

所述触发模块，用于使所述智能货架系统进入触发状态，其中，当所述智能货架系统处于所述触发状态时，所述处理模块与所述计算模块进行数据交互。

在一种可能的设计中，所述处理模块，具体用于：

利用混合高斯模型对所述货架图像信息中的静态背景进行建模，得到背景模型；

根据所述背景模型提取所述货架图像信息中的第一前景像素；

根据形态学去噪法对所述第一前景像素进行去噪，得到第二前景像素；

将所述第二前景像素进行连通与分割处理，以形成封闭区域；

判断所述封闭区域的面积是否大于预设的第一阈值。

在一种可能的设计中，所述处理模块，具体用于：

获取第一帧图像与第二帧图像之间的第一差分区域，其中，所述第一帧图像与第二帧图像为所述货架图像信息中相邻的两帧；

根据形态学去噪法对所述第一差分区域进行去噪，得到第二差分区域；

根据梯度法对所述第二差分区域进行轮廓识别，并计算包围所述轮廓的最小凸多边形；

判断所述最小凸多边形的面积是否大于预设的第二阈值。

在一种可能的设计中，所述处理模块，具体用于：

根据手部检测模型判断所述货架图像信息中是否包含手部图像信息，其中，所述手部检测模型为将手部图片输入神经网络进行训练后得到的识别模型。

在一种可能的设计中，

所述获取模块包括N个获取子模块，所述处理模块包括N个处理子模块，其中，每个所述获取子模块分别对应一个所述处理子模块，并且N为大于或等于2的整数；

第1获取子模块至第N获取子模块空间位置依次相邻；

所述智能货架系统，还包括合并模块，用于当判断第M摄像头获取的第M视频信息与第M+1摄像头获取的第M+1视频信息时间相交时，将所述第M视频信息和所述第M+1视频信息归类在第一事件集合中，其中，所述第M摄像头和所述第M+1摄像头为空间相邻的两个摄像头，M为整数，并且1≤M≤N-1。

第三方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中提供的任意一种可能的智能货架触发方法。

第四方面，本发明还提供一种电子设备，包括：

处理器；以及

存储器，用于存储处理器的可执行指令；

其中，处理器配置为经由执行可执行指令来执行第一方面中提供的任意一种可能的智能货架触发方法。

本发明提供的一种智能货架触发方法、智能货架系统、存储介质及电子设备，先通过根据货架图像信息以及第一触发算法判断智能货架系统处于被触发的状态，但是为了防止误触发，继续采用第二触发算法判断智能货架系统是否处于被触发的状态，其中，第二触发算法的触发条件为预设物体图像，而预设物体图像为智能货架系统需要被触发时大概率会出现的物体图像，当智能货架系统进入触发状态时，智能货架系统中的处理器才会与服务器进行数据交互，从而有效地避免了由于后台服务器之间的数据持续传输就会导致大量的网络带宽和计算资源的浪费。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的智能货架触发方法的应用场景图；

图2是根据一示例性实施例示出的智能货架触发方法的流程图；

图3是根据又一示例性实施例示出的智能货架触发方法的流程图；

图4是根据另一示例性实施例示出的智能货架触发方法的流程图；

图5是根据一示例性实施例示出的智能货架系统的结构示意图；

图6为本发明根据一示例性实施例示出的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是根据一示例性实施例示出的智能货架触发方法的应用场景图。如图1所示，本实施例提供的智能货架触发方法，应用于所述智能货架系统，所述系统包括：货架1、摄像头32、处理器33以及服务器4，其中，该摄像头32用于获取货架图像信息，其中，货架图像信息包括货架1内侧对于商品2以及货架1周围的图像，并且，处理器33分别与摄像头32以及服务器4相连接。

继续参照图1，在一个实际应用场景下，该系统采用普通的130度广角摄像头作为视觉传感器，并部署在货架1格子顶部内外两列，其中内侧的为内部摄像头32，外侧的为外部摄像头31。实际每列个数根据货架1长度和算法需求而变化，如每列6个一个格子共12个。摄像头架设好之后，接下来需要将摄像头接入网络，打通摄像头到后台服务器的数据流。对于处理器33可以选择树莓派(Raspberry Pi,简称RPi)来实现，为了最大化树莓派的利用率，同时保证计算开销在树莓派允许范围内，可以将每个树莓派连接两个摄像头(一组)，其中，内部摄像头32与外部摄像头31分别一个。

并且，树莓派中通过数据分发程序，把摄像头的数据进行收集、本地触发过滤，最终通过无线网络上传到服务器4。服务器4收到数据后，也会进行云端上的事件融合、触发过滤，最终将过滤后的事件进一步交给识别模块处理。因此，可以将简单的触发算法在本地树莓派中署，将较复杂的模型部署在云端。

其中，外部摄像头31由于朝里，其视野范围只局限于货架1的内部，货架1外物体变化对其并没有影响；内部摄像头32朝外，部分视野受到货架1外部环境影响。因此，可以利用外部摄像头31作为触发传感器，只利用手和货架1的交互行为进行触发。触发成功后，该组两个摄像头同时把获取的信息上传到服务器4。当外部摄像头31检测到一段时间内无两帧变化时，退出触发状态，停止数据传送。

而服务器4接收到某树莓派传入的某摄像头的视频流时，触发融合算法对时空相邻，即时间有交集且空间相邻的触发树莓派传入的视频流合并为一个多传感器捕捉的事件。接着利用云端部署的触发算法过滤无效事件，把最终确认为有效触发的多传感器事件数据，传给商品事件识别模块。

图2是根据一示例性实施例示出的智能货架触发方法的流程图。如图2所示，本实施例提供的智能货架触发方法，包括：

步骤101、根据货架图像信息以及第一触发算法判断智能货架系统是否处于被触发的状态，若判断结果为是，则执行步骤102。

具体地，上述的货架图像信息为货架内侧的图像，而第一触发算法可以为基于背景差分算法或者是帧间差分算法。

其中，背景差分算法是采用图像序列中的当前帧和背景参考模型比较来检测运动物体的一种方法,其性能依赖于所使用的背景建模技术。在基于背景差分方法的运动目标检测中，背景图像的建模和模拟的准确程度，直接影响到检测的效果。不论任何运动目标检测算法，都要尽可能的满足任何图像场景的处理要求，但是由于场景的复杂性、不可预知性、以及各种环境干扰和噪声的存在，如光照的突然变化、实际背景图像中有些物体的波动、摄像机的抖动、运动物体进出场景对原场景的影响等，使得背景的建模和模拟变得比较困难。

而帧间差分算法一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动，但是不能提取出对象的完整区域，只能提取出边界，同时依赖于选择的帧间时间间隔。

可见，单纯通过上述的背景差分算法以及帧间差分算法均容易引起误触发。

步骤102、根据货架图像信息以及第二触发算法判断智能货架系统是否处于被触发的状态，若判断结果为是，则执行步骤103。

具体地，当通过第一触发算法判断智能货架系统当前处于被触发的状态时，为了避免为误触发，可以进一步地，根据货架图像信息以及第二触发算法判断智能货架系统是否处于被触发的状态，其中，第二触发算法的触发条件为预设物体图像，值得理解的，预设物体图像为智能货架系统需要被触发时必须出现的物体，例如，对于智能货架系统，用户在货架上进行商品选择是，在货架图像信息中必然会出现用户的手部图像，因此，可以选择手部图像作为预设物体图像。

步骤103、智能货架系统进入触发状态。

若根据货架图像信息以及第二触发算法判断智能货架系统确实是处于被触发的状态，则智能货架系统进入触发状态，其中，当智能货架系统处于触发状态时，处理器与服务器进行数据交互。

但是，若根据货架图像信息以及第二触发算法判断智能货架系统不是处于被触发的状态，则智能货架系统进入保持或进入未触发状态，其中，当智能货架系统处于未触发状态时，处理器与服务器不进行数据交互。

在本实施例中，先通过根据货架图像信息以及第一触发算法判断智能货架系统处于被触发的状态，但是为了防止误触发，继续采用第二触发算法判断智能货架系统是否处于被触发的状态，其中，第二触发算法的触发条件为预设物体图像，而预设物体图像为智能货架系统需要被触发时大概率会出现的物体图像，当智能货架系统进入触发状态时，智能货架系统中的处理器才会与服务器进行数据交互，从而有效地避免了由于后台服务器之间的数据持续传输就会导致大量的网络带宽和计算资源的浪费。

图3是根据又一示例性实施例示出的智能货架触发方法的流程图。如图3所示，本实施例提供的智能货架触发方法，包括：

步骤201、利用混合高斯模型对货架图像信息中的静态背景进行建模，得到背景模型。

背景差分算法利用混合高斯模型对图片中的静态背景建模。具体地，每个背景像素点被认为是一个三维随机变量，该随机变量由多元混合高斯模型生成。算法通过多帧的输入，不断地动态更新背景像素点的生成模型。

步骤202、根据背景模型提取货架图像信息中的第一前景像素。

然后，根据背景模型提取货架图像信息中的第一前景像素。具体地，利用背景模型，算法可以对当前帧进行前景像素提取，例如用像素点的值进行假设检验，看是否由混合模型中的某个高斯模型生成，如果都不是，则判断该像素为前景像素。

步骤203、根据形态学去噪法对第一前景像素进行去噪，得到第二前景像素。

根据形态学去噪法对第一前景像素进行去噪，得到第二前景像素。其中，形态学去噪法是计算机视觉里的常用算法，例如膨化腐蚀等，用于消除杂质点或者空洞。

步骤204、将第二前景像素进行连通与分割处理，以形成封闭区域。

去噪之后，对第二前景像素对应的额区域进行连通和分割，以形成封闭区域，然后，通过区域面积大小是否超过一定阈值判断触发。

步骤205、判断封闭区域的面积是否大于预设的第一阈值，若判断结果为是，则执行步骤206。

步骤206、根据手部检测模型判断所述货架图像信息中是否包含手部图像信息，若判断结果为是，则执行步骤207。

其中，手部检测模型为将手部图片输入神经网络进行训练后得到的识别模型。

步骤207、智能货架系统进入触发状态。

若根据手部检测模型判断货架图像信息中包含手部图像信息，则智能货架系统进入触发状态，其中，当智能货架系统处于触发状态时，处理器与服务器进行数据交互。

但是，若根据手部检测模型判断货架图像信息中不包含手部图像信息，则智能货架系统进入保持或进入未触发状态，其中，当智能货架系统处于未触发状态时，处理器与服务器不进行数据交互。

为了进一步的提高防误触的可能性，还可以通过连续图片帧进行判断，系统包括：N个摄像头、N个处理器，其中，每个摄像头分别对应一个处理器，并且N为大于或等于2的整数。

而第1摄像头至第N摄像头空间位置依次相邻，若判断第M摄像头获取的第M视频信息与第M+1摄像头获取的第M+1视频信息是否时间相交，其中，第M摄像头和第M+1摄像头为空间相邻的两个摄像头，M为整数，并且1≤M≤N-1。若判断结果为是，则将第M视频信息和第M+1视频信息归类在第一事件集合中。

具体地，为了对同一个场景下的行为得到多个角度摄像头获取的信息，可以通过对摄像头所获取的信息进行合并。用户与货架交互行为可以分为三种：取、放、空操作。例如，对于一个取的操作，多个摄像头同时获取到这个动作的视频信息，但每个摄像头所获取的角度不同，另外每个摄像头捕获的开始时间也不同。而且，上述的这些摄像头数据通过处理器传到服务器的时间也是不同的，很可能先捕获得到的视频传到服务器更晚，另外，若空间内存在其他货架，则其他货架的摄像头传入的数据，也可能与上述这些摄像头数据交错。

也就是说，每个摄像头，在触发后，向服务器发送的视频信息(例如cam1.avi,cam2.avi,…)，会根据服务器接收到的时间，被放到一个队列里。但这些视频可能不是空间相邻，也可能不是时间相邻。

而对于队列里的视频需要进行重组，使得反映同一个事件的视频被组合在一起。这里的条件是，若空间相邻的摄像头，同时存在两段时间相交的视频，这两段视频就会被进行重组，例如放到一个属于第一事件集合里。最后队列里的视频都会被分配到不同的视频集合里，每个集合反映一个或多个事件，而集合之间的事件不相交。图4是根据另一示例性实施例示出的智能货架触发方法的流程图。如图4所示，本实施例提供的智能货架触发方法，包括：

步骤301、获取第一帧图像与第二帧图像之间的第一差分区域。

具体地，获取第一帧图像与第二帧图像之间的第一差分区域，其中，第一帧图像与第二帧图像为货架图像信息中相邻的两帧，将连续两帧(或当前帧与前几帧均值)进行相减，并做阈值化处理，得到变化区域，从而对触发事件进行检测。

步骤302、根据形态学去噪法对所述第一差分区域进行去噪，得到第二差分区域。

由于信号噪声或的存在，简单相减会导致前景区域内或边沿处存在细小空洞。或者在非前景区域存在误判的前景像素点。因此，相减之后还需要做形态学处理，例如腐蚀与膨胀，消除噪声造成的影响。可以根据形态学去噪法对所述第一差分区域进行去噪，得到第二差分区域。

步骤303、根据梯度法对第二差分区域进行轮廓识别，并计算包围轮廓的最小凸多边形。

另外，当货架内部出现人影或小抖动的时候，图像中会有某些小区域在两帧中有差别，从而引起算法对触发的误判。为了过滤这种干扰事件，增强算法鲁棒性，可以对初步被判断为前景像素的区域做轮廓检测，排除小面积的差分区域。

其中，轮廓检测就是检测途中连续区域之间的轮廓，例如通过梯度的方法识别轮廓。边缘检测和轮廓识别是计算机视觉的基本问题，开源库OpenCV中有基本实现，我们是利用开源库的应用程序编程接口进行轮廓检测的。当轮廓检测出来之后，先计算包围轮廓的最小凸多边形，对再利用凸多边形进行面积计算和判断。

步骤304、判断最小凸多边形的面积是否大于预设的第二阈值，若判断结果为是，则执行步骤305。

步骤305、根据手部检测模型判断所述货架图像信息中是否包含手部图像信息，若判断结果为是，则执行步骤306。

其中，手部检测模型为将手部图片输入神经网络进行训练后得到的识别模型。

步骤306、智能货架系统进入触发状态。

若根据手部检测模型判断货架图像信息中包含手部图像信息，则智能货架系统进入触发状态，其中，当智能货架系统处于触发状态时，处理器与服务器进行数据交互。

但是，若根据手部检测模型判断货架图像信息中不包含手部图像信息，则智能货架系统进入保持或进入未触发状态，其中，当智能货架系统处于未触发状态时，处理器与服务器不进行数据交互。

值得说明地，服务器在接收到传入的视频流时，触发融合算法对时空相邻，即时间有交集且空间相邻的摄像头传入的视频流合并为一个多传感器捕捉的事件。接着利用云端部署的触发算法过滤无效事件

具体地，货架图像信息包括：第1空间图像信息、第2空间图像信息、……、第N空间图像信息，其中，N为整数，并且2≤N，并且第1空间图像信息、第2空间图像信息、……、第N空间图像信息的空间位置依次相邻。

在预设时间范围内，服务器判断第M空间图像信息与第M+1空间图像信息中是否同时包含手部图像信息，其中，M为整数，并且1≤M≤N-1。

若判断结果为是，则触发第M处理器以及第M+1处理器与服务器进行数据交互，其中，第M处理器与第M摄像头连接，第M摄像头用于获取第M空间图像信息，第M+1处理器与第M+1摄像头，第M+1摄像头用于获取第M+1空间图像信息。从而实现对时空相邻，即时间有交集且空间相邻的摄像头传入的视频流的融合。

在本实施例中，先通过根据货架图像信息以及第一触发算法判断智能货架系统处于被触发的状态，但是为了防止误触发，继续手部检测模型判断货架图像信息中是否包含手部图像信息来确定智能货架系统是否处于被触发的状态，当智能货架系统进入触发状态时，智能货架系统中的处理器才会与服务器进行数据交互，从而有效地避免了由于后台服务器之间的数据持续传输就会导致大量的网络带宽和计算资源的浪费。

图5是根据一示例性实施例示出的智能货架系统的结构示意图。如图5所示，本实施例提供的智能货架系统，包括：

获取模块401、处理模块402、计算模块403以及触发模块404；

所述获取模块401用于获取货架图像信息，其中，所述货架图像信息包括货架内侧以及所述货架周围的图像；

所述处理模块402分别与所述获取模块401以及所述计算模块403连接；

所述处理模块402，还用于根据所述货架图像信息以及第一触发算法判断所述智能货架系统是否处于被触发的状态；

所述处理模块402，还用于根据所述货架图像信息以及第二触发算法判断所述智能货架系统是否处于被触发的状态，所述第二触发算法的触发条件为预设物体图像；

所述触发模块404，用于使所述智能货架系统进入触发状态，其中，当所述智能货架系统处于所述触发状态时，所述处理模块与所述计算模块进行数据交互。

在一种可能的设计中，所述处理模块402，具体用于：

利用混合高斯模型对所述货架图像信息中的静态背景进行建模，得到背景模型；

根据所述背景模型提取所述货架图像信息中的第一前景像素；

根据形态学去噪法对所述第一前景像素进行去噪，得到第二前景像素；

将所述第二前景像素进行连通与分割处理，以形成封闭区域；

判断所述封闭区域的面积是否大于预设的第一阈值。

在一种可能的设计中，所述处理模块402，具体用于：

获取第一帧图像与第二帧图像之间的第一差分区域，其中，所述第一帧图像与第二帧图像为所述货架图像信息中相邻的两帧；

根据形态学去噪法对所述第一差分区域进行去噪，得到第二差分区域；

根据梯度法对所述第二差分区域进行轮廓识别，并计算包围所述轮廓的最小凸多边形；

判断所述最小凸多边形的面积是否大于预设的第二阈值。

在一种可能的设计中，所述处理模块402，具体用于：

根据手部检测模型判断所述货架图像信息中是否包含手部图像信息，其中，所述手部检测模型为将手部图片输入神经网络进行训练后得到的识别模型。

在一种可能的设计中，所述获取模块包括N个获取子模块，所述处理模块包括N个处理子模块，其中，每个所述获取子模块分别对应一个所述处理子模块，并且N为大于或等于2的整数；

第1获取子模块至第N获取子模块空间位置依次相邻；

所述智能货架系统，还包括合并模块，用于当判断第M摄像头获取的第M视频信息与第M+1摄像头获取的第M+1视频信息时间相交时，将所述第M视频信息和所述第M+1视频信息归类在第一事件集合中，其中，所述第M摄像头和所述第M+1摄像头为空间相邻的两个摄像头，M为整数，并且1≤M≤N-1。

值得说明地，图5所示实施例中的智能货架系统，可用于执行上述图2-图4所示实施例中的方法，具体实现方式和技术效果类似，这里不再赘述。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图6为本发明根据一示例性实施例示出的电子设备的结构示意图。如图6所示，本实施例提供的电子设备，包括：

处理器501；以及

存储器502，用于存储处理器的可执行指令；

其中，处理器配置为经由执行可执行指令来执行前述任一项方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

并且，上述设备中的各模块的功能可以通过处理器501实现。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种智能货架触发方法，其特征在于，应用于智能货架系统，所述系统包括：货架、摄像头、处理器以及服务器；所述摄像头包括多组摄像头，每组摄像头包括外部摄像头以及内部摄像头，所述外部摄像头的视野范围只局限于所述货架的内部，所述内部摄像头的视野范围为所述货架的外部，所述外部摄像头用于获取货架图像信息，其中，所述货架图像信息为所述货架内侧的图像；所述处理器分别与所述摄像头以及所述服务器连接；所述方法，包括：

根据所述货架图像信息以及第一触发算法判断所述智能货架系统是否处于被触发的状态；

若判断结果为是，则根据所述货架图像信息以及第二触发算法判断所述智能货架系统是否处于被触发的状态，其中，所述第二触发算法的触发条件为预设物体图像；

若根据所述货架图像信息以及所述第二触发算法确定所述智能货架系统处于被触发的状态，则所述智能货架系统进入触发状态，其中，当所述智能货架系统处于所述触发状态时，所述处理器与所述服务器进行数据交互，所述数据交互为将对应组的所述外部摄像头以及所述内部摄像头所获取的信息上传至服务器；

若根据所述货架图像信息以及所述第二触发算法确定所述智能货架系统未处于被触发的状态，则所述智能货架系统保持或进入未触发状态，其中，当所述智能货架系统处于未触发状态时，所述处理器与所述服务器不进行数据交互。

2.根据权利要求1所述的智能货架触发方法，其特征在于，所述根据货架图像信息以及第一触发算法判断所述智能货架系统是否处于被触发的状态，包括：

利用混合高斯模型对所述货架图像信息中的静态背景进行建模，得到背景模型；

根据所述背景模型提取所述货架图像信息中的第一前景像素；

根据形态学去噪法对所述第一前景像素进行去噪，得到第二前景像素；

将所述第二前景像素进行连通与分割处理，以形成封闭区域；

判断所述封闭区域的面积是否大于预设的第一阈值。

3.根据权利要求1所述的智能货架触发方法，其特征在于，所述根据货架图像信息以及第一触发算法判断所述智能货架系统是否处于被触发的状态，包括：

获取第一帧图像与第二帧图像之间的第一差分区域，其中，所述第一帧图像与第二帧图像为所述货架图像信息中相邻的两帧；

根据形态学去噪法对所述第一差分区域进行去噪，得到第二差分区域；

根据梯度法对所述第二差分区域进行轮廓识别，并计算包围所述轮廓的最小凸多边形；

判断所述最小凸多边形的面积是否大于预设的第二阈值。

4.根据权利要求1-3中任意一项所述的智能货架触发方法，其特征在于，所述根据所述货架图像信息以及第二触发算法判断所述智能货架系统是否处于被触发的状态，包括：

根据手部检测模型判断所述货架图像信息中是否包含手部图像信息，其中，所述手部检测模型为将手部图片输入神经网络进行训练后得到的识别模型。

5.根据权利要求4所述的智能货架触发方法，其特征在于，所述系统包括：N个摄像头、N个处理器，其中，每个所述摄像头分别对应一个所述处理器，并且N为大于或等于2的整数；

第1摄像头至第N摄像头空间位置依次相邻；

判断第M摄像头获取的第M视频信息与第M+1摄像头获取的第M+1视频信息是否时间相交，其中，所述第M摄像头和所述第M+1摄像头为空间相邻的两个摄像头，M为整数，并且1≤M≤N-1；

若判断结果为是，则将所述第M视频信息和所述第M+1视频信息归类在第一事件集合中。

6.一种智能货架系统，其特征在于，包括：获取模块、处理模块、计算模块以及触发模块；

所述获取模块用于获取货架图像信息，其中，所述货架图像信息包括货架内侧以及所述货架周围的图像；

所述处理模块分别与所述获取模块以及所述计算模块连接；

所述处理模块，还用于根据所述货架图像信息中的货架内侧的图像以及第一触发算法判断所述智能货架系统是否处于被触发的状态；

所述处理模块，还用于根据所述货架图像信息以及第二触发算法判断所述智能货架系统是否处于被触发的状态，所述第二触发算法的触发条件为预设物体图像；

所述触发模块，用于在根据所述货架图像信息以及所述第二触发算法确定所述智能货架系统处于被触发的状态时，使所述智能货架系统进入触发状态，其中，当所述智能货架系统处于所述触发状态时，所述处理模块与所述计算模块进行数据交互，所述数据交互为将所获取到的所述货架图像信息上传至所述计算模块；或者，用于在根据所述货架图像信息以及所述第二触发算法确定所述智能货架系统未处于被触发的状态时，使所述智能货架系统保持或进入未触发状态，其中，当所述智能货架系统处于未触发状态时，所述处理模块与所述计算模块不进行数据交互。

7.根据权利要求6所述的智能货架系统，其特征在于，所述处理模块，具体用于：

利用混合高斯模型对所述货架图像信息中的静态背景进行建模，得到背景模型；

根据所述背景模型提取所述货架图像信息中的第一前景像素；

根据形态学去噪法对所述第一前景像素进行去噪，得到第二前景像素；

将所述第二前景像素进行连通与分割处理，以形成封闭区域；

判断所述封闭区域的面积是否大于预设的第一阈值。

8.根据权利要求6所述的智能货架系统，其特征在于，所述处理模块，具体用于：

获取第一帧图像与第二帧图像之间的第一差分区域，其中，所述第一帧图像与第二帧图像为所述货架图像信息中相邻的两帧；

根据形态学去噪法对所述第一差分区域进行去噪，得到第二差分区域；

根据梯度法对所述第二差分区域进行轮廓识别，并计算包围所述轮廓的最小凸多边形；

判断所述最小凸多边形的面积是否大于预设的第二阈值。

9.根据权利要求6-8中任意一项所述的智能货架系统，其特征在于，所述处理模块，具体用于：

根据手部检测模型判断所述货架图像信息中是否包含手部图像信息，其中，所述手部检测模型为将手部图片输入神经网络进行训练后得到的识别模型。

10.根据权利要求9所述的智能货架系统，其特征在于，所述获取模块包括N个获取子模块，所述处理模块包括N个处理子模块，其中，每个所述获取子模块分别对应一个所述处理子模块，并且N为大于或等于2的整数；

第1获取子模块至第N获取子模块空间位置依次相邻；

所述智能货架系统，还包括合并模块，用于当判断第M摄像头获取的第M视频信息与第M+1摄像头获取的第M+1视频信息时间相交时，将所述第M视频信息和所述第M+1视频信息归类在第一事件集合中，其中，所述第M摄像头和所述第M+1摄像头为空间相邻的两个摄像头，M为整数，并且1≤M≤N-1。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5任一项所述的智能货架触发方法。

12.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-5任一项所述的智能货架触发方法。

Images