CN113470250A - 售卖柜、监控方法、服务器、系统及计算机可读存储介质 - Google Patents

售卖柜、监控方法、服务器、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN113470250A
CN113470250A CN202110738572.XA CN202110738572A CN113470250A CN 113470250 A CN113470250 A CN 113470250A CN 202110738572 A CN202110738572 A CN 202110738572A CN 113470250 A CN113470250 A CN 113470250A
Authority
CN
China
Prior art keywords
image
door
cabinet
images
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110738572.XA
Other languages
English (en)
Other versions
CN113470250B (zh
Inventor
张旭
王川艳
杜开峰
张山岭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikrobot Technology Co Ltd
Original Assignee
Hangzhou Hikrobot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikrobot Technology Co Ltd filed Critical Hangzhou Hikrobot Technology Co Ltd
Priority to CN202110738572.XA priority Critical patent/CN113470250B/zh
Publication of CN113470250A publication Critical patent/CN113470250A/zh
Application granted granted Critical
Publication of CN113470250B publication Critical patent/CN113470250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F11/00Coin-freed apparatus for dispensing, or the like, discrete articles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本申请实施例公开了一种售卖柜、监控方法、服务器、系统及计算机可读存储介质,属于机器视觉技术领域。在本申请实施例中,提供了一种自动监控售卖柜的方案,无需人工清点,能够实时反映售卖柜内商品的陈列情况和销售情况等,且节省了人力成本。另外,本方案通过感应面板与触发部件上感应体之间精准的距离感应,精准控制摄像头在柜门开启到设定角度时拍摄售卖柜中商品的图像,而非随意角度拍摄,这样所拍摄的图像一致性更好,利于后续图像识别、数据统计等图像处理。

Description

售卖柜、监控方法、服务器、系统及计算机可读存储介质
技术领域
本申请实施例涉及机器视觉技术领域,特别涉及一种售卖柜的监控方法、相关设备、系统及存储介质。
背景技术
目前,市场上已有大量的分布式的售卖柜用于商品的销售,例如各个厂家放置立式冰柜来销售自家的饮料、零食等。为了获知各个商品的陈列情况、销售情况等信息,需要对售卖柜进行监控。
相关技术中设计了一种冰柜智能监控盒,包括陀螺仪、摄像头、数据传输模块等。其中,陀螺仪用于获取冰柜门打开的角度数据并在合适的角度触发摄像头拍照,也即采用陀螺仪并通过算法估计开门角度,在估计的开门角度位于某个范围内时摄像头采集图像。之后,通过数据传输模块将图像上传到服务器,服务器根据图像识别算法,分析商品的陈列情况和销售情况。
然而,相关技术中采用陀螺仪来估计开门角度的算法复杂,且采用陀螺仪仅能控制摄像头在大概的开门角度范围内拍摄图像,这样摄像头的拍摄角度不稳定,所采集的图像一致性不好,不利于后续的图像识别及数据分析等。
发明内容
本申请实施例提供了一种售卖柜的监控方法、相关设备、系统及存储介质,能够自动监控售卖柜,实时反应售卖柜的陈列情况、销售情况等,不易出粗,减少了人力成本。所述技术方案如下:
一方面,提供了一种售卖柜,所述售卖柜上安装有感应面板、触发部件、摄像头和通信装置,所述触发部件上设置有一个或多个感应体;
所述感应面板和所述触发部件中的一个安装在所述售卖柜的门框上,另一个安装在所述售卖柜的柜门上;
所述摄像头安装在所述柜门上;
所述感应面板用于当所述柜门开启的角度达到任意一个设定角度时感应到一个感应体,以及用于当感应到任一感应体时触发所述摄像头拍摄所述售卖柜内的图像;其中,所述柜门开启到不同的设定角度,所述感应面板感应不同的感应体;
所述通信装置用于获取所述摄像头拍摄的图像,向服务器上传所述摄像头拍摄的图像。
可选地,所述触发部件上设置有多个感应体,所述感应面板安装在所述柜门上,且所述触发部件的一端固定在所述门框上,另一端向外延伸,所述感应面板随着所述柜门移动的移动路径,与所述多个感应体所形成的弧线是匹配的;或者,所述感应面板安装在所述门框上,所述触发部件的一端安装在所述柜门上,另一端向内延伸,所述触发部件上的任一感应体随着柜门的移动,靠近或远离所述感应面板。
可选地,在所述柜门关闭的状态下,所述感应面板与所述一个或多个感应体中的各个感应体之间的距离均在感应范围之外;
在所述柜门开启的角度达到任意一个设定角度的状态下,所述感应面板与所感应到的一个感应体之间的距离在所述感应范围之内。
可选地,所述摄像头到所述售卖柜的门轴的距离大于第一指定距离;
所述感应面板和所述触发部件到所述门轴的距离小于所述第一指定距离。
可选地,所述第一指定距离为所述柜门的门宽的一半。
可选地,所述触发部件为非金属结构件,所述感应体为金属体,所述售卖柜上安装的接近开关具有所述感应面板,所述接近开关为电容式接近开关、涡流式接近开关和无源接近开关中的一种;和/或,
所述摄像头包括广角镜头。
另一方面,提供了一种售卖柜的监控方法,所述售卖柜为上述所述的售卖柜;所述方法包括:
接收所述售卖柜上的通信装置发送的图像,所述图像是所述售卖柜上的摄像头基于所述售卖柜上的感应面板感应到任一感应体时触发拍摄的,所述感应面板在所述售卖柜的柜门开启的角度达到任意一个设定角度时感应到一个感应体;
基于接收到的图像,确定所述售卖柜中商品的陈列信息和/或销售信息。
可选地,所述基于接收到的图像,确定所述售卖柜中商品的销售信息,包括:
根据接收到的图像的拍摄时间和设定时长,从接收到的图像中依次确定一个或多个图像集合,每个图像集合包括一次开关门过程中所述摄像头所拍摄的图像,每个图像集合中图像的拍摄时间范围在所述设定时长之内;
确定所述一个或多个图像集合中各个图像集合中的开门图像和关门图像;
基于各个图像集合中的开门图像和关门图像,确定所述售卖柜中商品的销售信息。
可选地,所述根据接收到的图像的图像拍摄时间和设定时长,从接收到的图像中依次确定一个或多个图像集合,包括:
按照接收到的图像的拍摄时间,将接收到的图像中从第一张图像开始的所述设定时长内的图像确定为所述一个或多个图像集合中第一个图像集合中的图像;
将第一个图像集合确定为参考图像集合;
确定接收到的参考图像的拍摄时间与所述参考图像的上一张图像的拍摄时间的时间差,所述参考图像为接收到的图像中位于所述参考图像集合中的最后一张图像之后的一张图像;
若所述时间差大于时长阈值,则将接收到的图像中拍摄时间位于设定时间段内的图像作为所述参考图像集合的下一个图像集合中的图像,将所述下一个图像集合确定为所述参考图像集合,返回执行所述确定接收到的参考图像的拍摄时间与所述参考图像的上一张图像的拍摄时间的时间差的步骤,所述设定时间段是指从所述参考图像的拍摄时间开始,且时长为所述设定时长的时间段;
若所述时间差小于或等于所述时长阈值,则将接收到的所述参考图像的下一张图像确定为所述参考图像,返回执行所述确定接收到的参考图像的拍摄时间与所述参考图像的上一张图像的拍摄时间的时间差的步骤。
可选地,所述确定所述一个或多个图像集合中各个图像集合中的开门图像和关门图像,包括:
统计所述第一图像集合中图像的总数量,所述第一图像集合为所述一个或多个图像集合中的任一图像集合;
如果所述总数量未超过第一阈值,且所述总数量为2m+1,则按照接收到的图像的拍摄时间,将所述第一图像集合中的第i张图像和第j张图像分别确定为所述第一图像集合中的开门图像和关门图像,所述i为区间[1,m]内的一个整数,所述j为区间[m+2,2m+1]内的一个整数,所述m为大于或等于1的整数;
如果所述总数量未超过所述第一阈值,且所述总数量为2m,则按照接收到的图像的拍摄时间,将所述第一图像集合中的第p张图像和第q张图像分别确定为所述第一图像集合中的开门图像和关门图像,所述p为区间[1,m]内的一个整数,所述q为区间[m+1,2m]内的一个整数;
如果所述总数量超过所述第一阈值,则按照接收到的图像的拍摄时间,将所述第一图像集合中的第一张图像和最后一张图像分别确定为所述第一图像集合中的开门图像和关门图像。
可选地,所述i等于m,所述j等于m+2,所述p等于m,所述q等于m+1。
可选地,所述第一阈值为所述触发部件上设置的感应体的总数量的两倍。
另一方面,提供了一种售卖柜的监控装置,所述售卖柜为上述所述的售卖柜;所述装置包括:
接收模块,用于接收所述售卖柜上的通信装置发送的图像,所述图像是所述售卖柜上的摄像头基于所述售卖柜上的感应面板感应到任一感应体时触发拍摄的,所述感应面板在所述售卖柜的柜门开启的角度达到任意一个设定角度时感应到一个感应体;
确定模块,用于基于接收到的图像,确定所述售卖柜中商品的陈列信息和/或销售信息。
可选地,所述确定模块包括:
第一确定子模块,用于根据接收到的图像的拍摄时间和设定时长,从接收到的图像中依次确定一个或多个图像集合,每个图像集合包括一次开关门过程中所述摄像头所拍摄的图像,每个图像集合中图像的拍摄时间范围在所述设定时长之内;
第二确定子模块,用于确定所述一个或多个图像集合中各个图像集合中的开门图像和关门图像;
第三确定子模块,用于基于各个图像集合中的开门图像和关门图像,确定所述售卖柜中商品的销售信息。
可选地,所述第一确定子模块具体用于:
按照接收到的图像的拍摄时间,将接收到的图像中从第一张图像开始的所述设定时长内的图像确定为所述一个或多个图像集合中第一个图像集合中的图像;
将第一个图像集合确定为参考图像集合;
确定接收到的参考图像的拍摄时间与所述参考图像的上一张图像的拍摄时间的时间差,所述参考图像为接收到的图像中位于所述参考图像集合中的最后一张图像之后的一张图像;
若所述时间差大于时长阈值,则将接收到的图像中拍摄时间位于设定时间段内的图像作为所述参考图像集合的下一个图像集合中的图像,将所述下一个图像集合确定为所述参考图像集合,返回执行所述确定接收到的参考图像的拍摄时间与所述参考图像的上一张图像的拍摄时间的时间差的步骤,所述设定时间段是指从所述参考图像的拍摄时间开始,且时长为所述设定时长的时间段;
若所述时间差小于或等于所述时长阈值,则将接收到的所述参考图像的下一张图像确定为所述参考图像,返回执行所述确定接收到的参考图像的拍摄时间与所述参考图像的上一张图像的拍摄时间的时间差的步骤。
可选地,所述第二确定子模块具体用于:
统计所述第一图像集合中图像的总数量,所述第一图像集合为所述一个或多个图像集合中的任一图像集合;
如果所述总数量未超过第一阈值,且所述总数量为2m+1,则按照接收到的图像的拍摄时间,将所述第一图像集合中的第i张图像和第j张图像分别确定为所述第一图像集合中的开门图像和关门图像,所述i为区间[1,m]内的一个整数,所述j为区间[m+2,2m+1]内的一个整数,所述m为大于或等于1的整数;
如果所述总数量未超过所述第一阈值,且所述总数量为2m,则按照接收到的图像的拍摄时间,将所述第一图像集合中的第p张图像和第q张图像分别确定为所述第一图像集合中的开门图像和关门图像,所述p为区间[1,m]内的一个整数,所述q为区间[m+1,2m]内的一个整数;
如果所述总数量超过所述第一阈值,则按照接收到的图像的拍摄时间,将所述第一图像集合中的第一张图像和最后一张图像分别确定为所述第一图像集合中的开门图像和关门图像。
可选地,所述i等于m,所述j等于m+2,所述p等于m,所述q等于m+1。
可选地,所述第一阈值为所述触发部件上设置的感应体的总数量的两倍。
另一方面,提供了一种售卖柜的监控系统,所述系统包括售卖柜,所述系统还包括服务器;
所述售卖柜为上述所述的售卖柜;
所述服务器用于实现上述所述售卖柜的监控方法的步骤。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器、通信接口、存储器和通信总线,所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信,所述存储器用于存放计算机程序,所述处理器用于执行所述存储器上所存放的程序,以实现上述所述售卖柜的监控方法的步骤。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述所述售卖柜的监控方法的步骤。
另一方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述所述的售卖柜的监控方法的步骤。
本申请实施例提供的技术方案至少可以带来以下有益效果:
在本申请实施例中,提供了一种自动监控售卖柜的方案,无需人工清点,能够实时反映售卖柜内商品的陈列情况和销售情况等,且节省了人力成本。另外,本方案通过感应面板与触发部件上感应体之间精准的距离感应,精准控制摄像头在柜门开启到设定角度时拍摄售卖柜中商品的图像,而非随意角度拍摄,这样所拍摄的图像一致性更好,利于后续图像识别、数据统计等图像处理。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种售卖柜的监控系统的架构图;
图2是本申请实施例提供的一个售卖柜中安装的部分装置的俯视示意图;
图3是本申请实施例提供的另一个售卖柜中安装的部分装置的俯视示意图;
图4是本申请实施例提供的又一个售卖柜中安装的部分装置的俯视示意图;
图5是本申请实施例提供的又一个售卖柜中安装的部分装置的俯视示意图;
图6是本申请实施例提供的一种售卖柜的结构示意图;
图7是本申请实施例提供的一种触发部件的结构示意图;
图8是本申请实施例提供的一种售卖柜的监控方法的流程图;
图9是本申请实施例提供的一种售卖柜的监控装置的结构示意图;
图10是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
为了便于对本申请实施例的理解,首先对本申请实施例所涉及的部分名词和术语进行解释。
接近开关:一种无需与感应体进行机械接触而可以操作的位置开关。当感应体靠近接近开关的感应面到动作距离(指定距离)时,不需要机械接触及施加任何压力即可使接近开关动作,从而驱动直流电器或给计算机控制器装置提供控制指令。可选地,本申请实施例中的接近开关感应金属物体。在其他可能的实施例中,接近开关也可以感应其他类型的物体。例如,接近开关可以为无源接近开关、涡流式接近开关、电容式接近开关、霍尔接近开关、光电式接近开关等任意一种。其中,无源接近开关、涡流式接近开关、电容式接近开关等可以感应金属体。
工业相机:机器视觉系统中的一个关键组件,本质的功能是将光信号转变成有序的电信号。本申请实施例中的摄像头可以是一种工业相机。
广角镜头:一种焦距短于标准镜头、视角大于标准镜头、焦距长于鱼眼镜头、视角小于鱼眼镜头的摄像镜头。
接下来对本申请实施例提供的售卖柜的监控方法所涉及的应用场景进行介绍。
目前,市场上已有大量的分布式的售卖柜用于商品的销售,例如各个厂家在超市、路边等地方放置立式冰柜来销售自家的饮料、零食等。为了获知各个商品的陈列情况、销售情况等信息,需要对售卖柜进行监控。更具体地,为了比较各个产品销售情况,不同区域、商超的销售情况,监控超市工作人员放置过多竞品,监控商超是否按照场景要求的陈列标准摆放饮料,以及监控售卖柜是否需要补货等,需要对售卖柜中产品进行监控。其中,售卖柜可以是任一种类型的柜子,例如立式售卖柜、冰柜、冰箱等。采用本申请实施例提供的方法即能实现对售卖柜的自动监控,获知各个商品的陈列情况、销售情况等信息,无需人工清点。
接下来对本申请实施例提供的售卖柜的监控方法所涉及的系统架构进行介绍。
图1是本申请实施例提供的一种售卖柜的监控系统,该监控系统用于实现本申请实施例提供的监控方法。如图1所示,该监控系统包括一个或多个售卖柜,以及服务器,各个售卖柜均与服务器以有线或无线方式通信连接。
其中,任一个售卖柜上安装有感应面板、触发部件、摄像头和通信装置。触发部件上设置有一个或多个感应体。感应面板和触发部件中的一个安装在该售卖柜的门框上,另一个安装在该售卖柜的柜门上。摄像头安装在柜门上。感应面板用于当柜门开启的角度达到任意一个设定角度时感应到一个感应体,以及用于当感应到任一感应体时触发摄像头拍摄该售卖柜内的图像。其中,柜门开启到不同的设定角度,感应面板感应不同的感应体。通信装置用于获取摄像头拍摄的图像,向服务器上传摄像头所拍摄的图像。
以一个售卖柜为例,可选地,该售卖柜上安装的触发部件上设置有多个感应体,感应面板安装在柜门上,且触发部件的一端固定在门框上,另一端向外延伸。感应面板随着柜门移动的移动路径,与该多个感应体所形成的弧线是匹配的。
需要说明的是,感应面板的移动路径实质上为一段弧线,该弧线的圆心在门轴上,该多个感应体所形成的弧线的圆心也在门轴上,或者在靠近门轴的位置,也即与门轴有一定的误差。感应面板移动所形成的弧线的半径与该多个感应体所形成的弧线的半径相等,或者,这两个半径有一定差距,该差距不超过感应面板与感应体之间的感应距离。可选地,若售卖柜为立式售卖柜,则感应面板的移动路径与该多个感应体所形成的弧线分别在两个水平面上,这样,两个半径可以相同或者存在一些差距。或者,感应面板的移动路径与该多个感应体所形成的弧线在同一水平面上,这样,这两个半径存在一些差距。
示例性地,图2至图5为本申请实施例提供的售卖柜上安装的部分装置的俯视示意图,在图2至图5中以售卖柜为立式冰柜,售卖柜上安装有接近开关,接近开关具有该感应面板,触发部件为弧形结构件,该触发部件上有三个感应体为例,图2至图5示出了在俯视该售卖柜时,售卖柜的箱体、柜门、接近开关、触发部件及触发部件上的感应体之间的相对位置关系,需要说明的是,接近开关与触发部件分别在两个水平面上,接近开关位于触发部件的上方。
其中,图2示出了该售卖柜的柜门关闭时接近开关与触发部件、以及与三个感应体之间的位置关系。如图2所示,在柜门关闭时,这三个感应体均不在接近开关的正下方,接近开关的感应面板与这三个感应体之间的距离均在感应范围之外,也即接近开关感应不到这三个感应体。
图3示出了该售卖柜的柜门开启到第一个设定角度时,也即柜门处于开门角度1时接近开关与触发部件、以及与三个感应体之间的位置关系。如图3所示,柜门处于设定角度1时,第一个感应体位于接近开关的正下方,接近开关与该感应体之间的距离在感应范围之内,也即接近开关能够感应到第一个感应体。而另外两个感应体均不在接近开关的正下方,接近开关与这两个感应体之间的距离在感应范围之外,也即接近开关感应不到这两个感应体。
同理,图4和图5分别示出了柜门开启到第二个设定角度和第三个设定角度时接近开关与触发部件、以及与三个感应体之间的位置关系。其中,在柜门处于设定角度2时,第二个感应体位于接近开关的正下方,接近开关感应到第二个感应体,而感应不到另外两个感应体。在柜门处于设定角度3时,第三个接近开关位于接近开关的正下方,接近开关感应到第三个感应体,而感应不到另外两个感应体。
可选地,感应面板安装在门框上,触发部件的一端安装在柜门上,另一端向内延伸。所述触发部件上的任一感应体随着柜门的移动,靠近或远离感应面板。这种安装方式可以参照下述图6所示。需要说明的是,这种安装方式的原理与前述介绍的安装方式的原理类似。
可选地,触发部件为弧形结构件,触发部件的弧线与所述多个感应体所形成的弧线相同。当然,触发部件也可以为其他形状,能够承载该多个感应体即可。另外,本申请实施例不限定感应面板与触发部件的安装方式,保证感应面板和触发部件能够相对运动,从而通过感应实现对摄像头在柜门开启到设定角度时拍摄图像的精准控制即可。
在本申请实施例中,由前述可知,在柜门关闭的状态下,感应面板与该一个或多个感应体中的各个感应体之间的距离均在感应范围之外。在柜门开启的角度达到任意一个设定角度的状态下,感应面板与所感应到的一个感应体之间的距离在感应范围之内。
可选地,为了摄像头具有较好的拍摄视野,摄像头到售卖柜的门轴的距离大于第一指定距离,也即摄像头要远离门轴,例如,摄像头安装在柜门的侧边上。为了触发部件向外延伸或向内延伸的部分较短一些,感应面板和触发部件到门轴的距离小于第一指定距离,也即感应面板与触发部件要靠近门轴。可选地,第一指定距离为柜门的门宽的一半。需要说明的是,摄像头到门轴的距离,与触发部件到门轴的距离不相关,这里仅以第一指定距离作为示例来说明尽量使摄像头远离门轴,使触发部件靠近门轴。
可选地,触发部件为非金属结构件,感应体为金属体,售卖柜上安装有接近开关,接近开关具有该感应面板。可选地,接近开关为电容式接近开关、涡流式接近开关和无源接近开关中的一种。当然,接近开关也可以为其他类型的开关,触发部件和感应体的材质根据接近开关的工作原理选择即可。
可选地,摄像头包括广角镜头。也即是,为了拍摄到售卖柜中所有的商品,本申请实施例中采用带广角镜头的摄像头。需要说明的是,摄像头的种类也可以根据冰柜的尺寸进行选择,本申请实施例对此不作限定。
可选地,通信装置包括4G模块、WiFi模块、蓝牙模块等一种或多种通信模块。
需要说明的是,在感应面板与触发部件进行相对运动的过程中,当触发部件上任一感应体与感应面板的距离进入感应范围内时,柜门开启到设定角度,此时感应面板触发摄像头拍摄图像。由此可见,本申请实施例通过感应面板和触发部件实现柜门开启角度的精准控制,摄像头在柜门开启到设定角度时拍摄图像,这样能够保证图像的一致性较好,利于后续的图像处理、图像识别等。另外,也无需摄像头时时刻刻拍摄图像,在保证图像质量的同时,减少了采集数据量。
在本申请实施例中,服务器用于接收售卖柜上通信装置所发送的图像,基于接收到的图像,确定售卖柜中商品的陈列信息和/或销售信息。可选地,服务器中部署有深度学习算法,通过深度学习算法对图像进行商品识别,以确定商品的陈列信息和/或销售信息。
可选地,任一售卖柜包括主控板,主控板用于对摄像头拍摄的图像进行图像处理,图像处理例如畸变校正、旋转、色彩调节、明暗调节、对比度调节、ISP(Image SignalProcessing,图像信号处理)、ROI(Region of Interest,感兴趣区域)处理、自动曝光和图像压缩等中的一种或多种,通信装置用于向服务器上传畸变校正等图像处理后的图像。可选地,主控板包括通信装置,或者,主控板和通信装置为两个装置。需要说明的是,服务器也还可以用于对接收到的图像进行图像处理,例如畸变校正,也即是,图像处理的功能既可以由售卖柜上的主控板实现,也可以由服务器实现,其中,在由分布式的各个售卖柜上的主控板实现图像处理功能的实现方式中,能够减轻服务器的压力。
可选地,在本申请实施例中,服务器为一台独立的服务器,或者,为由多台服务器构成的服务器集群,或者,为一个云服务器(可称为云平台)。
接下来对本申请实施例提供的一种售卖柜的进行介绍。
图6是本申请实施例提供的一种售卖柜的结构示意图。在图6中以售卖柜为一种立式冰柜为例,在售卖柜的位置1(门框上)和位置2(柜门上)处分别安装接近开关和触发部件,触发部件为一种弧形塑料结构件,触发部件上有一个或多个感应体(未示出)。在位置3(柜门上)安装带广角镜头的摄像头(如图示的工业相机)。可选地,在位置4安装有主控板,用于图像的畸变校正等图像处理。可选地,主控板包括通信装置,用于向服务器上传图像。
图7是本申请实施例提供的一种触发部件的结构示意图。该触发部件可以为图2至图6中任一所示的触发部件。该触发部件为一种弧形塑料结构件,在触发部件的三个位置上安装有金属片,金属片作为感应体。通过这三个位置安装的金属片,可以实现柜门分别开启到三个设定角度时,触发摄像头拍摄售卖柜内商品的图像。可选地,这三个设定角度分别为15度、45度、85度。当然,这几个设定角度也可以根据需求设定,设定为一个或多个均可。例如,仅设定一个45度,又如设定30度和60度。
接下来对本申请实施例提供的售卖柜的监控方法进行详细的解释说明。
图8是本申请实施例提供的一种售卖柜的监控方法的流程图。请参考图8,该方法包括如下步骤。
步骤801:当售卖柜的柜门开启到任意一个设定角度时,售卖柜上安装的感应面板感应到触发部件上的一个感应体,当感应面板感应到任一感应体时触发售卖柜上安装的摄像头拍摄售卖柜内的图像。
在本申请实施例中,在售卖柜上安装摄像头、感应面板和触发部件,触发部件上设置有一个或多个感应体(如金属体)。当售卖柜的柜门开启到任意一个设定角度时,售卖柜上安装的感应面板感应到触发部件上的一个感应体,当感应面板感应到任一感应体时触发摄像头拍摄售卖柜内的图像。这样,使得售卖柜的柜门在开启到一个或多个设定角度时,感应面板产生触发信号,以触发摄像头拍摄图像。可选地,售卖柜上安装有接近开关,接近开关包括感应面板。
在本申请实施例中,通过安装的摄像头(如搭配广角镜头)拍摄售卖柜内商品的图像,感应面板产生的触发信号用于触发售卖柜上的摄像头拍摄售卖柜内商品的图像,也即是,摄像头在接收到触发信号时拍摄售卖柜内的图像。
如前述示例中售卖柜在开门的三个设定角度(如15度、45度、85度)时,感应面板均会产生触发信号,在这三个设定角度分别产生的触发信号均会触发摄像头(搭配广角镜头的工业相机)拍摄图像。
可选地,售卖柜包括主控板,主控板用于对摄像头拍摄的图像进行图像处理,可选地,图像处理包括畸变校正、旋转、色彩调节、明暗调节、对比度调节、ISP、ROI处理、自动曝光、图像压缩等中的一种或多种。也即是,本申请实施例提供的售卖柜还能够用于图像处理,如畸变校正,可选地,还能够对图像进行亮度、对比度等调整,提高图像质量。
示例性地,如图6所示的售卖柜(一种立式冰柜),和图7所示的触发部件,该触发部件(弧形塑料结构件)的三个位置安装有感应体(金属体),使得售卖柜的柜门分别开启到三个设定角度(如15度、45度、85度)时,感应面板均会产生触发信号以触发摄像头拍摄图像。
可选地,由前述可知,摄像头可以包括广角镜头,以覆盖售卖柜内所有产品。
由上述可知,本方案实现了售卖柜中商品的自动图像采集,可以根据售卖柜的尺寸设定不同的开门角度触发工业相机采集图像,搭配广角镜头使得摄像头所拍摄的图像尽可能覆盖售卖柜中陈列的商品、成像清晰,且在设定角度采集图像相比连续触发及视频流采集,本方案节省流量,成本低。
步骤802:售卖柜上的通信装置获取摄像头拍摄的图像,向服务器上传摄像头拍摄的图像。
在本申请实施例中,售卖柜上的通信装置获取摄像头拍摄的图像,通信装置向服务器上传摄像头拍摄的图像。例如,通信装置按照图像拍摄的顺序向服务器上传图像。
可选地,在通过售卖柜上的主控板对拍摄的图像进行畸变校正等图像处理的情况下,通信装置(如主控板的4G模块)获取处理后的图像,将处理后的图像上传服务器(如云平台)。
步骤803:服务器接收售卖柜上的通信装置发送的图像。
在本申请实施例中,服务器接收该售卖柜上的通信装置发送的图像。
可选地,在本申请实施例中,服务器也可以接收一个或多个售卖柜上的通信装置发送的图像,以对一个或多个售卖柜进行监控。可选地,各个售卖柜的结构相同或相似,各个售卖柜上所安装的摄像头、感应面板、触发部件等的具体位置和器件种类,根据相应售卖柜的形状尺寸、实际需求等确定。
步骤804:服务器基于接收到的图像,确定该售卖柜中商品的陈列信息和/或销售信息。
在本申请实施例中,服务器基于接收到的图像,确定该售卖柜中商品的陈列信息和/或销售信息。在一种实现方式中,服务器能够对接收到的图像进行识别,确定该售卖柜中商品的陈列信息和/或销售信息。
其中,对于确定销售信息来说,服务器可以通过对一次开关门过程中的图像进行识别,进行销量统计及分析。可选地,服务器可以识别一次开关门过程的图像中商品的种类和数量的变化情况,包括识别开门过程的任一图像与关门过程的任一图像之间商品的变化情况,也即识别关门图像相比于开门图像中商品的变化情况,从而确定销量信息。其中,开门图像是指柜门打开的过程中摄像头所拍摄的图像,关门图像是指柜门关闭的过程中摄像头所拍摄的图像。
基于上述分析,在本申请实施例中,服务器根据接收到的图像的拍摄时间和设定时长,从接收到的图像中依次确定一个或多个图像集合,每个图像集合包括一次开关门过程中摄像头所拍摄的图像,每个图像集合中图像的拍摄时间范围在设定时长之内。服务器确定该一个或多个图像集合中各个图像集合中的开门图像和关门图像。服务器基于各个图像集合中的开门图像和关门图像,确定该售卖柜中商品的销售信息。
也即是,服务器从接收到的图像中确定每一次开关门过程中摄像头所拍摄的图像,服务器基于每一次开关门过程中的开门图像和关门图像,来确定售卖柜中商品的销售信息。其中,设定时长可以是依次开关门过程所需时长的经验值或统计均值等,例如设定时长为30秒、45秒、60秒等,本申请实施例对此不作限定。这样,服务器通过每次识别设定时长内的图像中商品的变化情况,实现对一次购买过程对应的销售情况的统计分析。
可选地,服务器根据接收到的图像的图像拍摄时间和设定时长,从接收到的图像中依次确定一个或多个图像集合的一种实现方式为:服务器按照接收到的图像的拍摄时间,将接收到的图像中从第一张图像开始的设定时长内的图像确定为该一个或多个图像集合中第一个图像集合中的图像。服务器将该第一个图像集合确定为参考图像集合。服务器确定接收到的参考图像的拍摄时间与该参考图像的上一张图像的拍摄时间的时间差。其中,参考图像为接收到的图像中位于参考图像集合中的最后一张图像之后的一张图像。若该时间差大于时长阈值,则服务器将接收到的图像中拍摄时间位于设定时间段内的图像作为该参考图像集合的下一个图像集合中的图像,将该下一个图像集合确定为参考图像集合,返回执行确定接收到的参考图像的拍摄时间与该参考图像的上一张图像的拍摄时间的时间差的步骤。其中,设定时间段是指从该参考图像的拍摄时间开始,且时长为设定时长的时间段。若该时间差小于或等于时长阈值,则服务器将接收到的参考图像的下一张图像确定为参考图像,返回执行确定接收到的参考图像的拍摄时间与该参考图像的上一张图像的拍摄时间的时间差的步骤。
也即是,服务器通过对比接收到的相邻两张图像的拍摄时间的时间差,来判断这两张图像是否分别属于两次开关门过程中摄像头所拍摄的图像。其中,对于服务器初次接收到的一张图像来说,由于该图像没有对应的上一张图像,因此,服务器可以直接将该图像开始的设定时长内的图像确定为第一个图像集合中的图像,即服务器将这些图像确定为第一次开关门过程中摄像头所拍摄的图像。对于第一个图像集合之后接收到的图像,均有对应的上一张图像,服务器通过对比时间差来判断参考图像是否是下一次开关门过程摄像头所拍摄的第一张图像,也即是否又进行了一次开关门过程。
在本申请实施例中,服务器在依次确定该一个或多个图像集合的情况下,服务器确定该一个或多个图像集合中各个图像集合中的开门图像和关门图像。需要说明的是,服务器可以每确定一个图像集合之后,确定该图像集合中的开门图像和关门图像。或者,服务器在确定该一个或多个图像集合之后,再确定该一个或多个图像集合中各个图像集合中的开门图像和关门图像。或者,服务器每隔一段时间,确定在这段时间内所确定的各个图像集合中的开门图像和关门图像。另外,在本申请实施例中,服务器对确定各个图像集合中的开门图像和关门图像的方式是类似的,接下来以该一个或多个图像集合中任一图像集合为例,对确定该图像集合中的开门图像和关门图像的一种实现方式进行介绍。
在本申请实施例中,服务器统计第一图像集合中图像的总数量,第一图像集合为该一个或多个图像集合中的任一图像集合。如果该总数量未超过第一阈值,且该总数量为2m+1,则服务器按照接收到的图像的拍摄时间,将第一图像集合中的第i张图像和第j张图像分别确定为第一图像集合中的开门图像和关门图像。其中,i为区间[1,m]内的一个整数,j为区间[m+2,2m+1]内的一个整数,m为大于或等于1的整数。如果该总数量未超过第一阈值,且总数量为2m,则服务器按照接收到的图像的拍摄时间,将第一图像集合中的第p张图像和第q张图像分别确定为第一图像集合中的开门图像和关门图像。其中,p为区间[1,m]内的一个整数,q为区间[m+1,2m]内的一个整数。如果该总数量超过第一阈值,则服务器按照接收到的图像的拍摄时间,将第一图像集合中的第一张图像和最后一张图像分别确定为第一图像集合中的开门图像和关门图像。
需要说明的是,第一阈值根据一次开关门过程中触发摄像头拍摄图像的次数确定,由于本方案通过感应面板与触发部件上的感应体之间的感应来触发摄像头拍摄图像,一次开关门过程中摄像头所能拍摄的图像的次数与感应体的个数有关,感应体越多,摄像头可能拍摄的图像越多,因此,第一阈值可以根据触发部件上设置的感应体的总数量来确定。可选地,第一阈值为触发部件上安装的感应体的总数量的两倍。当然可能存在柜门可能在开启状态下摆动,使得摄像头拍摄更多的图像的情况,考虑到这些情况,第一阈值也可以为其他的取值,本申请实施例对此不作限定。在本申请实施例中以第一阈值为触发部件上设置的感应体的总数量的两倍为例进行说明。
示例性地,一个触发部件上有三个感应体,则第一阈值为6。第一阈值表示在一次正常的购买过程中,开启柜门可能最多拍摄六张图像,包括开门过程中在三个设定角度触发拍摄图像,以及关门过程中在三个设定角度触发拍摄图像。在本申请实施例中,设置第一阈值以对开启柜门的实际操作进行大致判断,获取对应的两张图像进行对比,后续用于识别商品的变化情况。
需要说明的是,如果第一图像集合中图像的总数量超过第一阈值,说明本次开关门过程可能是在长时间开启柜门进行补货等非购买情况,则服务器将第一图像中的第一张图像和最后一张图像分别确定为第一图像集合中的开门图像和关门图像。
如果第一图像集合中图像的总数量未超过第一阈值,且该总数量为2m+1,也即总数量为奇数,说明本次开关门过程很大可能是一次正常的销售过程,且柜门开启的最大角度正好为一个设定角度,则服务器可以按照拍摄时间以第一图像集合中排在中间的图像为基准,从第一图像集合中选择比该基准更早拍摄的一张图像作为开门图像,也即从第1至m张图像中选择一张作为开门图像,从第一图像集合中选择比该基准更晚拍摄的一张图像作为关门图像,也即从第m+2至2m+1张图像中选择一张作为关门图像。其中,第1至m张图像均可作为开门过程中的图像,第m+2至2m+1张图像中的任一张图像均可作为关门过程中的图像。
示例性地,服务器选择第一图像集合中的第一张图像和最后一张图像分别作为第一图像集合中的开门图像和关门图像。示例性地,假设设定角度有三个,分别为30度、45度和85度,而在本次开关门过程中柜门开启的最大角度为85度,第一图像集合包括5张图像,这5张图像分别在柜门开启到30度、45度、85度、45度和30度时拍摄得到,这种情况下,服务器选择第1张或第2张图像作为开门图像,选择第4张或第5张图像作为关门图像。
如果第一图像集合中图像的总数量未超过第一阈值,且总数量为2m,也即总数量为偶数,说明本次开关门过程也很大可能是一次正常的销售过程,且在本次开关门过程中柜门开启的最大角度并非等于任意一个设定角度,则服务器将第一图像集合中的图像分为两部分,第一部分包括第1至m张图像,第二部分包括第m+1至2m张图像,服务器从第1至m张图像中选择一张作为开门图像,从第m+1至2m张图像中选择一张作为关门图像。需要说明的是,第1至m张图像中的任一张图像均可作为开门过程的一张图像,第m+1至2m张图像中的任一张图像均可作为关门过程的一张图像。
示例性地,假设设定角度有三个,分别为30度、45度和85度,而柜门开启的最大角度为72度,第一图像集合包括4张图像,这4张图像分别在柜门开启到30度、45度、45度和30度时拍摄得到,这种情况下,服务器选择第1张或第2张图像作为开门图像,选择第3张或第4张图像作为关门图像。
可选地,上述i等于m,j等于m+2,p等于m,q等于m+1。其中,i等于m,j等于m+2表示在第一图像集合中图像的总数量未超过第一阈值,且总数量为2m+1的情况下,服务器选择第一图像集合中的第m张图像和第m+2张图像分别作为第一图像集合中的开门图像和关门图像。p等于m,q等于m+1表示在第一图像集合中的图像的总数量未超过第一阈值,且总数量为2m的情况下,服务器选择第一图像集合中的第m张图像和第m+1张图像分别作为第一图像集合中的开门图像和关门图像。也即是,为了确定视野较好的开门图像和关门图像,服务器可以选择第一图像集合中拍摄时间靠中间的图像,拍摄这些图像时柜门所处的设定角度较大。
在本申请实施例中,在确定各个图像集合中的开门图像和关门图像之后,服务器基于各个图像集合中的开门图像和关门图像,确定该售卖柜中商品的销售信息。可选地,服务器基于各个图像集合中的开门图像和关门图像,确定该售卖柜中商品的销售信息的一种实现方式为:服务器通过识别各个图像集合中的关门图像相比于开门图像中商品的种类和数量的变化情况,确定该售卖柜中商品的销售信息。示例性地,服务器通过图像识别模型分别识别开门图像和关门图像中商品的种类和数量,通过对比关门图像中每种商品的数量相比于开门图像中相应种类商品的数量的变化,来确定该售卖柜中相应种类商品的销售信息。
在本申请实施例中,服务器对接收到的图像进行识别,还能够确定该售卖柜中商品的陈列信息。可选地,陈列信息包括陈列商品的数量比例和空间比例。服务器对接收到的图像进行商品种类和数量识别,确定该售卖柜所陈列的商品的种类和数量,统计该售卖柜中任一商品占该售卖柜内所陈列商品的数量比例。服务器还能够对接收到的图像进行商品占用空间识别,确定该售卖柜内陈列商品占该售卖柜的空间比例,其中,空间比例用于判断该任一售卖柜是否需要补货。示例性地,服务器通过识别图像中商品所占面积来确定该空间比例,服务器也可以通过其他方式来确定空间比例,本申请实施例对比不作限定。
可选地,本方案通过对图像进行商品种类和数量识别,分析售卖柜中商品所占数量比例、空间比例等,进而服务器还能够通过空间比例判断该售卖柜是否需要补货。示例性地,如果空间比例小于空间占比阈值,则服务器确定该售卖柜需要进行补货,其中,空间占比阈值可以为50%、60%、70%等。
可选地,在本申请实施例中,服务器对接收到的图像进行商品种类和数量识别,确定该售卖柜所陈列的商品的种类和数量的一种实现方式为:服务器通过图像分割和/或识别算法对接收到的图像进行处理,确定该中各层货架上陈列的商品的种类和数量。基于此,服务器还能够检测该售卖柜中各层货架上陈列的商品是否符合商品陈列标准。示例性地,服务器通过图像分割和识别算法对各层货架上陈列的商品进行识别,判断商品是否按照厂家要求摆放在指定货架上,是否按照厂家要求在指定货架上整齐摆放商品。其中,图像识别算法例如目标检测、图像检索等算法。
可选地,如果该售卖柜中任一货架上陈列的商品不符合商品陈列标准,则服务器生成用于指示不符合商品陈列标准的提示信息。可选地,服务器将该提示发送给用户终端,以便相关人员通过用户终端获知该信息,及时采取相应措施。
可选地,由前述可知,服务器能够对一个或多个售卖柜进行监控,也即是,服务器能够根据本申请实施例提供的监控方法来确定每个售卖柜内商品的销售信息。基于此,在本申请实施例中,服务器还能够通过关联区域层级,分析各个区域、各个商超的销售情况。在一种实现方式中,服务器接收该一个或多个售卖柜中通信装置所发送的图像,服务器对接收到的图像进行识别,确定该一个或多个售卖柜中商品的销售信息之后,对该一个或多个售卖柜进行区域关联,确定位于多个区域中任一区域内的售卖柜,统计该多个区域中任一区域内售卖柜中商品的销售信息。和/或,服务器对该一个或多个售卖柜进行商品关联,确定陈列有多种商品中任一商品的售卖柜,统计所确定的售卖柜中该任一种商品的销售信息。其中,区域关联可以是地区关联,也可以是商超关联等。可选地,服务器可以获取该一个或多个售卖柜中每个售卖柜所在的区域,从而对该一个或多个售卖柜中处于同一区域的售卖柜进行区域关联。
可选地,在本申请实施例中,服务器通过商品关联,还可以分析出一段时期销售爆品,分析一段时间内每种商品的销售曲线。
综上所述,在本申请实施例中,提供了一种自动监控售卖柜的方案,无需人工清点,能够实时反映售卖柜内商品的陈列情况和销售情况等,且节省了人力成本。另外,本方案通过感应面板与触发部件上感应体之间精准的距离感应,精准控制摄像头在柜门开启到设定角度时拍摄售卖柜中商品的图像,而非随意角度拍摄,这样所拍摄的图像一致性更好,利于后续图像识别、数据统计等图像处理。
上述所有可选技术方案,均可按照任意结合形成本申请的可选实施例,本申请实施例对此不再一一赘述。
图9是本申请实施例提供的一种售卖柜的监控装置900的结构示意图,该装置900可以由软件、硬件或者两者的结合实现成为计算机设备的部分或者全部,可选地,该计算机设备可以作为上述实施例中的服务器,该售卖柜为上述实施例中的售卖柜。请参考图9,该装置包括:接收模块901和确定模块902。
接收模块901,用于接收售卖柜上的通信装置发送的图像,该图像是该售卖柜上的摄像头基于该售卖柜上的感应面板感应到任一感应体时触发拍摄的,感应面板在该售卖柜的柜门开启的角度达到任意一个设定角度时感应到一个感应体;
确定模块902,用于基于接收到的图像,确定该售卖柜中商品的陈列信息和/或销售信息。
可选地,确定模块902包括:
第一确定子模块,用于根据接收到的图像的拍摄时间和设定时长,从接收到的图像中依次确定一个或多个图像集合,每个图像集合包括一次开关门过程中摄像头所拍摄的图像,每个图像集合中图像的拍摄时间范围在设定时长之内;
第二确定子模块,用于确定该一个或多个图像集合中各个图像集合中的开门图像和关门图像;
第三确定子模块,用于基于各个图像集合中的开门图像和关门图像,确定该售卖柜中商品的销售信息。
可选地,第一确定子模块具体用于:
按照接收到的图像的拍摄时间,将接收到的图像中从第一张图像开始的设定时长内的图像确定为该一个或多个图像集合中第一个图像集合中的图像;
将第一个图像集合确定为参考图像集合;
确定接收到的参考图像的拍摄时间与参考图像的上一张图像的拍摄时间的时间差,参考图像为接收到的图像中位于参考图像集合中的最后一张图像之后的一张图像;
若该时间差大于时长阈值,则将接收到的图像中拍摄时间位于设定时间段内的图像作为参考图像集合的下一个图像集合中的图像,将下一个图像集合确定为参考图像集合,返回执行确定接收到的参考图像的拍摄时间与参考图像的上一张图像的拍摄时间的时间差的步骤,设定时间段是指从参考图像的拍摄时间开始,且时长为设定时长的时间段;
若该时间差小于或等于时长阈值,则将接收到的参考图像的下一张图像确定为参考图像,返回执行确定接收到的参考图像的拍摄时间与参考图像的上一张图像的拍摄时间的时间差的步骤。
可选地,第二确定子模块具体用于:
统计第一图像集合中图像的总数量,第一图像集合为该一个或多个图像集合中的任一图像集合;
如果该总数量未超过第一阈值,且总数量为2m+1,则按照接收到的图像的拍摄时间,将第一图像集合中的第i张图像和第j张图像分别确定为第一图像集合中的开门图像和关门图像,i为区间[1,m]内的一个整数,j为区间[m+2,2m+1]内的一个整数,m为大于或等于1的整数;
如果该总数量未超过第一阈值,且总数量为2m,则按照接收到的图像的拍摄时间,将第一图像集合中的第p张图像和第q张图像分别确定为第一图像集合中的开门图像和关门图像,p为区间[1,m]内的一个整数,q为区间[m+1,2m]内的一个整数;
如果该总数量超过第一阈值,则按照接收到的图像的拍摄时间,将第一图像集合中的第一张图像和最后一张图像分别确定为第一图像集合中的开门图像和关门图像。
可选地,i等于m,j等于m+2,p等于m,q等于m+1。
可选地,第一阈值为触发部件上设置的感应体的总数量的两倍。
在本申请实施例中,提供了一种自动监控售卖柜的方案,无需人工清点,能够实时反映售卖柜内商品的陈列情况和销售情况等,且节省了人力成本。另外,本方案通过感应面板与触发部件上感应体之间精准的距离感应,精准控制摄像头在柜门开启到设定角度时拍摄售卖柜中商品的图像,而非随意角度拍摄,这样所拍摄的图像一致性更好,利于后续图像识别、数据统计等图像处理。
需要说明的是:上述实施例提供的售卖柜的监控装置在监控售卖柜时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的售卖柜的监控装置与售卖柜的监控方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图10是本申请实施例提供的一种服务器的结构示意图。该服务器可以是后台服务器集群中的服务器。具体来讲:
服务器1000包括中央处理单元(CPU)1001、包括RAM(Random Access Memory,随机存取存储器)1002和只读存储器(ROM)1003的系统存储器1004,以及连接系统存储器1004和中央处理单元1001的系统总线1005。服务器600还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1006,和用于存储操作系统1013、应用程序1014和其他程序模块1015的大容量存储设备1007。
基本输入/输出系统1006包括有用于显示信息的显示器1008和用于用户输入信息的诸如鼠标、键盘之类的输入设备1009。其中显示器1008和输入设备1009都通过连接到系统总线1005的输入输出控制器1010连接到中央处理单元1001。基本输入/输出系统1006还可以包括输入输出控制器1010以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器1010还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备1007通过连接到系统总线1005的大容量存储控制器(未示出)连接到中央处理单元1001。大容量存储设备1007及其相关联的计算机可读介质为服务器600提供非易失性存储。也就是说,大容量存储设备1007可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1004和大容量存储设备1007可以统称为存储器。
根据本申请的各种实施例,服务器600还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器600可以通过连接在系统总线1005上的网络接口单元1011连接到网络1012,或者说,也可以使用网络接口单元1011来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,被配置由CPU执行。所述一个或者一个以上程序包含用于进行本申请实施例提供的售卖柜的监控方法的指令。
在一些实施例中,还提供了一种计算机可读存储介质,该存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例中售卖柜的监控方法的步骤。例如,所述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
值得注意的是,本申请实施例提到的计算机可读存储介质可以为非易失性存储介质,换句话说,可以是非瞬时性存储介质。
应当理解的是,实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。
也即是,在一些实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述所述的售卖柜的监控方法的步骤。
应当理解的是,本文提及的“至少一个”是指一个或多个,“多个”是指两个或两个以上。在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
以上所述为本申请提供的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (15)

1.一种售卖柜,其特征在于,所述售卖柜上安装有感应面板、触发部件、摄像头和通信装置,所述触发部件上设置有一个或多个感应体;
所述感应面板和所述触发部件中的一个安装在所述售卖柜的门框上,另一个安装在所述售卖柜的柜门上;
所述摄像头安装在所述柜门上;
所述感应面板用于当所述柜门开启的角度达到任意一个设定角度时感应到一个感应体,以及用于当感应到任一感应体时触发所述摄像头拍摄所述售卖柜内的图像;其中,所述柜门开启到不同的设定角度,所述感应面板感应不同的感应体;
所述通信装置用于获取所述摄像头拍摄的图像,向服务器上传所述摄像头拍摄的图像。
2.根据权利要求1所述的售卖柜,其特征在于,所述触发部件上设置有多个感应体,所述感应面板安装在所述柜门上,且所述触发部件的一端固定在所述门框上,另一端向外延伸,所述感应面板随着所述柜门移动的移动路径,与所述多个感应体所形成的弧线是匹配的;或者,所述感应面板安装在所述门框上,所述触发部件的一端安装在所述柜门上,另一端向内延伸,所述触发部件上的任一感应体随着柜门的移动,靠近或远离所述感应面板。
3.根据权利要求1所述的售卖柜,其特征在于,在所述柜门关闭的状态下,所述感应面板与所述一个或多个感应体中的各个感应体之间的距离均在感应范围之外;
在所述柜门开启的角度达到任意一个设定角度的状态下,所述感应面板与所感应到的一个感应体之间的距离在所述感应范围之内。
4.根据权利要求1所述的售卖柜,其特征在于,所述摄像头到所述售卖柜的门轴的距离大于第一指定距离;
所述感应面板和所述触发部件到所述门轴的距离小于所述第一指定距离。
5.根据权利要求4所述的售卖柜,其特征在于,所述第一指定距离为所述柜门的门宽的一半。
6.根据权利要求1-5任一所述的售卖柜,其特征在于,
所述触发部件为非金属结构件,所述感应体为金属体,所述售卖柜上安装的接近开关具有所述感应面板;和/或,
所述摄像头包括广角镜头。
7.一种售卖柜的监控方法,其特征在于,所述售卖柜为所述权利要求1-6任一所述的售卖柜;所述方法包括:
接收所述售卖柜上的通信装置发送的图像,所述图像是所述售卖柜上的摄像头基于所述售卖柜上的感应面板感应到任一感应体时触发拍摄的,所述感应面板在所述售卖柜的柜门开启的角度达到任意一个设定角度时感应到一个感应体;
基于接收到的图像,确定所述售卖柜中商品的陈列信息和/或销售信息。
8.根据权利要求7所述的方法,其特征在于,所述基于接收到的图像,确定所述售卖柜中商品的销售信息,包括:
根据接收到的图像的拍摄时间和设定时长,从接收到的图像中依次确定一个或多个图像集合,每个图像集合包括一次开关门过程中所述摄像头所拍摄的图像,每个图像集合中图像的拍摄时间范围在所述设定时长之内;
确定所述一个或多个图像集合中各个图像集合中的开门图像和关门图像;
基于各个图像集合中的开门图像和关门图像,确定所述售卖柜中商品的销售信息。
9.根据权利要求8所述的方法,其特征在于,所述根据接收到的图像的图像拍摄时间和设定时长,从接收到的图像中依次确定一个或多个图像集合,包括:
按照接收到的图像的拍摄时间,将接收到的图像中从第一张图像开始的所述设定时长内的图像确定为所述一个或多个图像集合中第一个图像集合中的图像;
将第一个图像集合确定为参考图像集合;
确定接收到的参考图像的拍摄时间与所述参考图像的上一张图像的拍摄时间的时间差,所述参考图像为接收到的图像中位于所述参考图像集合中的最后一张图像之后的一张图像;
若所述时间差大于时长阈值,则将接收到的图像中拍摄时间位于设定时间段内的图像作为所述参考图像集合的下一个图像集合中的图像,将所述下一个图像集合确定为所述参考图像集合,返回执行所述确定接收到的参考图像的拍摄时间与所述参考图像的上一张图像的拍摄时间的时间差的步骤,所述设定时间段是指从所述参考图像的拍摄时间开始,且时长为所述设定时长的时间段;
若所述时间差小于或等于所述时长阈值,则将接收到的所述参考图像的下一张图像确定为所述参考图像,返回执行所述确定接收到的参考图像的拍摄时间与所述参考图像的上一张图像的拍摄时间的时间差的步骤。
10.根据权利要求8所述的方法,其特征在于,所述确定所述一个或多个图像集合中各个图像集合中的开门图像和关门图像,包括:
统计所述第一图像集合中图像的总数量,所述第一图像集合为所述一个或多个图像集合中的任一图像集合;
如果所述总数量未超过第一阈值,且所述总数量为2m+1,则按照接收到的图像的拍摄时间,将所述第一图像集合中的第i张图像和第j张图像分别确定为所述第一图像集合中的开门图像和关门图像,所述i为区间[1,m]内的一个整数,所述j为区间[m+2,2m+1]内的一个整数,所述m为大于或等于1的整数;
如果所述总数量未超过所述第一阈值,且所述总数量为2m,则按照接收到的图像的拍摄时间,将所述第一图像集合中的第p张图像和第q张图像分别确定为所述第一图像集合中的开门图像和关门图像,所述p为区间[1,m]内的一个整数,所述q为区间[m+1,2m]内的一个整数;
如果所述总数量超过所述第一阈值,则按照接收到的图像的拍摄时间,将所述第一图像集合中的第一张图像和最后一张图像分别确定为所述第一图像集合中的开门图像和关门图像。
11.根据权利要求10所述的方法,其特征在于,所述i等于m,所述j等于m+2,所述p等于m,所述q等于m+1。
12.根据权利要求10或11所述的方法,其特征在于,所述第一阈值为所述触发部件上设置的感应体的总数量的两倍。
13.一种服务器,其特征在于,所述服务器包括存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述计算机程序,实现权利要求8-13任一项所述方法的步骤。
14.一种售卖柜的监控系统,其特征在于,所述系统包括售卖柜,所述系统还包括服务器;
所述售卖柜为权利要求1-6任一项所述的售卖柜;
所述服务器用于实现权利要求7-12任一项所述方法的步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求7-12任一项所述方法的步骤。
CN202110738572.XA 2021-06-30 2021-06-30 售卖柜、监控方法、服务器、系统及计算机可读存储介质 Active CN113470250B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110738572.XA CN113470250B (zh) 2021-06-30 2021-06-30 售卖柜、监控方法、服务器、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110738572.XA CN113470250B (zh) 2021-06-30 2021-06-30 售卖柜、监控方法、服务器、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113470250A true CN113470250A (zh) 2021-10-01
CN113470250B CN113470250B (zh) 2023-02-17

Family

ID=77878263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110738572.XA Active CN113470250B (zh) 2021-06-30 2021-06-30 售卖柜、监控方法、服务器、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113470250B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120530A (zh) * 2021-11-30 2022-03-01 合肥美的智能科技有限公司 售卖机、售卖机的控制方法和装置、可读存储介质
CN114279367A (zh) * 2021-12-23 2022-04-05 元气森林(北京)食品科技集团有限公司 陈列柜开门角度的检测方法、陈列柜及存储介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100764676B1 (ko) * 2006-09-08 2007-10-08 이종균 이종 페트병을 판매할 수 있는 자동판매기용 랙크
JP2008269334A (ja) * 2007-04-20 2008-11-06 Yamaha Motor Co Ltd 自動販売機
US20120105424A1 (en) * 2010-10-28 2012-05-03 Samsung Electronics Co., Ltd. Display module and display system
CN203633744U (zh) * 2013-10-30 2014-06-11 浙江花为媒集团有限公司 一种具有智能调节灯的柜子
CN104019615A (zh) * 2014-05-16 2014-09-03 上海尖顶信息技术有限公司 一种查看冰箱内食材的方法
CN105120226A (zh) * 2015-09-09 2015-12-02 合肥华凌股份有限公司 图像采集装置、方法及冰箱
CN207780890U (zh) * 2018-01-09 2018-08-28 合肥美的智能科技有限公司 无人零售柜和无人零售柜监控系统
CN109190705A (zh) * 2018-09-06 2019-01-11 深圳码隆科技有限公司 无人售货方法、装置及系统
CN208504853U (zh) * 2018-07-10 2019-02-15 信利光电股份有限公司 一种冰箱
JP2019070478A (ja) * 2017-10-06 2019-05-09 パナソニックIpマネジメント株式会社 冷蔵庫
CN110164029A (zh) * 2018-02-13 2019-08-23 青岛海尔特种电冰柜有限公司 自动售货机及其控制方法
US20200099880A1 (en) * 2018-09-21 2020-03-26 Canon Kabushiki Kaisha Photoelectric conversion device and image sensing system
CN111031238A (zh) * 2019-11-29 2020-04-17 海尔优家智能科技(北京)有限公司 用于图像识别的图像采集方法、装置和家电
CN111222431A (zh) * 2019-12-27 2020-06-02 合肥美的智能科技有限公司 商品售卖柜的管理方法、商品售卖柜及计算机存储介质
CN111626201A (zh) * 2020-05-26 2020-09-04 创新奇智(西安)科技有限公司 商品检测方法、装置及可读存储介质
CN111723615A (zh) * 2019-03-20 2020-09-29 杭州海康威视数字技术股份有限公司 对检测物图像进行检测物匹配判定的方法和装置
CN213020511U (zh) * 2020-09-11 2021-04-20 深圳和而泰智能控制股份有限公司 一种应用于冰箱的摄像装置及冰箱
CN113053027A (zh) * 2021-02-23 2021-06-29 深兰科技(上海)有限公司 售货柜、售货柜的控制方法及装置

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100764676B1 (ko) * 2006-09-08 2007-10-08 이종균 이종 페트병을 판매할 수 있는 자동판매기용 랙크
JP2008269334A (ja) * 2007-04-20 2008-11-06 Yamaha Motor Co Ltd 自動販売機
US20120105424A1 (en) * 2010-10-28 2012-05-03 Samsung Electronics Co., Ltd. Display module and display system
CN203633744U (zh) * 2013-10-30 2014-06-11 浙江花为媒集团有限公司 一种具有智能调节灯的柜子
CN104019615A (zh) * 2014-05-16 2014-09-03 上海尖顶信息技术有限公司 一种查看冰箱内食材的方法
CN105120226A (zh) * 2015-09-09 2015-12-02 合肥华凌股份有限公司 图像采集装置、方法及冰箱
JP2019070478A (ja) * 2017-10-06 2019-05-09 パナソニックIpマネジメント株式会社 冷蔵庫
CN207780890U (zh) * 2018-01-09 2018-08-28 合肥美的智能科技有限公司 无人零售柜和无人零售柜监控系统
CN110164029A (zh) * 2018-02-13 2019-08-23 青岛海尔特种电冰柜有限公司 自动售货机及其控制方法
CN208504853U (zh) * 2018-07-10 2019-02-15 信利光电股份有限公司 一种冰箱
CN109190705A (zh) * 2018-09-06 2019-01-11 深圳码隆科技有限公司 无人售货方法、装置及系统
US20200099880A1 (en) * 2018-09-21 2020-03-26 Canon Kabushiki Kaisha Photoelectric conversion device and image sensing system
CN111723615A (zh) * 2019-03-20 2020-09-29 杭州海康威视数字技术股份有限公司 对检测物图像进行检测物匹配判定的方法和装置
CN111031238A (zh) * 2019-11-29 2020-04-17 海尔优家智能科技(北京)有限公司 用于图像识别的图像采集方法、装置和家电
CN111222431A (zh) * 2019-12-27 2020-06-02 合肥美的智能科技有限公司 商品售卖柜的管理方法、商品售卖柜及计算机存储介质
CN111626201A (zh) * 2020-05-26 2020-09-04 创新奇智(西安)科技有限公司 商品检测方法、装置及可读存储介质
CN213020511U (zh) * 2020-09-11 2021-04-20 深圳和而泰智能控制股份有限公司 一种应用于冰箱的摄像装置及冰箱
CN113053027A (zh) * 2021-02-23 2021-06-29 深兰科技(上海)有限公司 售货柜、售货柜的控制方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120530A (zh) * 2021-11-30 2022-03-01 合肥美的智能科技有限公司 售卖机、售卖机的控制方法和装置、可读存储介质
CN114279367A (zh) * 2021-12-23 2022-04-05 元气森林(北京)食品科技集团有限公司 陈列柜开门角度的检测方法、陈列柜及存储介质

Also Published As

Publication number Publication date
CN113470250B (zh) 2023-02-17

Similar Documents

Publication Publication Date Title
US10129507B2 (en) System and method for self-checkout using product images
JP6707724B1 (ja) 自律店舗追跡システム
CN113470250B (zh) 售卖柜、监控方法、服务器、系统及计算机可读存储介质
US11600072B2 (en) Object left behind detection
US9124778B1 (en) Apparatuses and methods for disparity-based tracking and analysis of objects in a region of interest
JP2020115344A6 (ja) 自律店舗追跡システム
US11176684B2 (en) Customer behavior analyzing method and customer behavior analyzing system
EP3748565A1 (en) Environment tracking
WO2014198611A1 (de) Kältegerät mit einem kameramodul
WO2006036578A2 (en) Method for finding paths in video
CN109767557A (zh) 货柜系统
JP6655908B2 (ja) 冷蔵庫およびプログラム
KR102410634B1 (ko) 인공지능 기반 무인 판매 서비스 제공 방법, 장치 및 시스템
KR102260123B1 (ko) 지역내 이벤트감지장치 및 그 장치의 구동방법
CN113114895A (zh) 货柜的控制方法、货柜和可读存储介质
WO2014198628A1 (de) Kältegerät mit einer tür
CN110633704A (zh) 货架及货架管理系统
JP2016224800A (ja) 人物行動分析装置、人物行動分析システムおよび人物行動分析方法
CN107945392A (zh) 自动售货机及采集证据的方法以及存储介质
US10776893B2 (en) Adaptive smart shelf for autonomous retail stores
WO2021091481A1 (en) System for object identification and content quantity estimation through use of thermal and visible spectrum images
CN111681018A (zh) 顾客行为分析方法与顾客行为分析系统
Brandle et al. Track-based finding of stopping pedestrians-a practical approach for analyzing a public infrastructure
CN220571892U (zh) 一种具有商品陈列监控功能的商用冷链设备
WO2022181575A1 (ja) 入出庫管理装置、入出庫管理システム、及び、入出庫管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Hikvision Robot Co.,Ltd.

Address before: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant