CN114333146A - 一种展示柜、展示柜信息采集方法及存储介质 - Google Patents
一种展示柜、展示柜信息采集方法及存储介质 Download PDFInfo
- Publication number
- CN114333146A CN114333146A CN202111672521.8A CN202111672521A CN114333146A CN 114333146 A CN114333146 A CN 114333146A CN 202111672521 A CN202111672521 A CN 202111672521A CN 114333146 A CN114333146 A CN 114333146A
- Authority
- CN
- China
- Prior art keywords
- product
- cabinet
- cabinet door
- image
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000008859 change Effects 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 26
- 239000000047 product Substances 0.000 description 264
- 230000036544 posture Effects 0.000 description 56
- 238000004891 communication Methods 0.000 description 39
- 238000001514 detection method Methods 0.000 description 14
- 235000013361 beverage Nutrition 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000002035 prolonged effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 235000020965 cold beverage Nutrition 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 235000012171 hot beverage Nutrition 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
Abstract
本申请提供了一种展示柜、展示柜信息采集方法及存储介质,该展示柜包括柜体、姿态传感器及摄像装置,姿态传感器用于检测所述柜体的柜门姿态,而摄像装置用于拍摄所述柜体内产品的图像。另外展示柜还包括一用于对姿态传感器和摄像装置的数据进行处理的数据处理器。该数据处理器可根据所述姿态传感器检测到的柜门姿态控制摄像装置拍摄所述柜体内产品的图像;并根据产品的图像确定产品的统计数据。在本公开实施例中,可以通过姿态传感器获取柜体的柜门状态,并通过摄像装置获取柜体内产品的图像,从而通过数据处理器对姿态传感器获取到的柜门状态和摄像装置拍摄到的图像进行处理得到产品的统计数据。
Description
技术领域
本申请涉及到展示柜技术领域,尤其涉及到一种展示柜、展示柜信息采集方法及存储介质。
背景技术
展示柜作为目前的一种盛放商品的终端结构,成为饮料常见的一种展示方式,但是目前展示柜摆放的位置有很多选择,如商场、地铁、公司内部等不同的场景,导致无法准确的获取展示柜内商品陈列和统计数据,目前只能通过抽样等调查方法,来获得展示柜的数据,这种获取数据的方式,一方面数据获取数据的成本较高,另一方面周期较长,难以满足对商品数据统计的及时性。
发明内容
本申请提供了一种展示柜、展示柜信息采集方法及存储介质,旨在获取产品末端的统计数据。
第一方面,提供了一种展示柜,该展示柜用于展示产品,其具体包括用于盛放产品的柜体,该柜体包括柜门,用户可打开柜门将柜体内的产品取出或者向柜体内补充产品。该展示柜还包括姿态传感器和摄像装置,其中,姿态传感器用于检测所述柜体的柜门姿态,而摄像装置用于拍摄所述柜体内产品的图像。另外展示柜还包括一用于对姿态传感器和摄像装置的数据进行处理的数据处理器。该数据处理器可根据所述姿态传感器检测到的柜门姿态控制摄像装置拍摄所述柜体内产品的图像;并根据产品的图像确定产品的统计数据。
在上述技术方案中,通过姿态传感器获取柜体的柜门状态,通过摄像装置获取柜体内产品的图像,从而通过数据处理器对姿态传感器获取到的柜门状态和摄像装置拍摄到的图像进行处理得到产品的统计数据。
第二方面,提供了一种展示柜信息采集方法,该方法包括以下步骤:检测柜体的柜门姿态;根据检测到所述柜门姿态拍摄所述柜体内产品的图像;根据所述产品的图像确定产品的统计数据。
在上述技术方案中,通过姿态传感器检测柜体的柜门姿态,可以确定柜体的柜门是否执行过开启和关闭的操作,从而确定柜体是否出现售卖情况;通过摄像装置拍摄柜体内产品的图像,可以确定柜门内产品售卖的情况;通过数据处理器对姿态传感器和摄像装置检测到的数据进行处理,就可以确定柜体内产品的统计数据,通过上述处理方式可以方便运维人员对产品的销售情况进行统计。
第三方面,提供了一种展示柜,该展示柜用于展示产品,其具体包括用于盛放产品的柜体,该柜体包括柜门,在展示时,用户可打开柜门将柜体内的产品取出或进行补货。为方便记录产品的统计情况,该展示柜还包括姿态传感器和摄像装置,其中,姿态传感器用于检测所述柜体的柜门姿态,而摄像装置用于拍摄所述柜体内产品的图像。另外展示柜还包括一检测柜展示柜的整体重量的重量传感器,以及用于对姿态传感器、重量传感器和摄像装置的数据进行处理的数据处理器。
上述实施方式中,可以通过姿态传感器获取柜体的柜门状态,并通过摄像装置获取柜体内产品的图像,从而通过数据处理器对姿态传感器获取到的柜门状态和摄像装置拍摄到的图像进行处理得到产品的统计数据。
除此之外,该数据处理器还可以根据所述姿态传感器检测到的所述柜门姿态控制重量传感器检测展示柜的重量变化;并根据所述柜体内产品的图像及所述重量传感器检测的展示柜的重量变化,确定产品的统计数据。通过结合柜体内产品的图像和重量变化确定产品的统计数据的方式,可以在方便运维人员对产品的销售情况进行统计,进一步提高统计数据的准确性,从而得到更加准确的统计数据。
第四方面,提供了一种展示柜信息采集方法,该信息采集方法包括以下步骤:检测所述展示柜的柜体的柜门姿态;根据检测到的所述柜门姿态拍摄所述柜体内产品的图像;根据检测到的所述柜门姿态检测展示柜的重量变化;根据所述柜体内产品的图像及所述重量传感器检测的展示柜的重量变化,确定产品的统计数据。
在上述技术方案中,通过姿态传感器获取柜体柜门状态,并以此控制摄像装置以及重量传感器的工作,并通过数据处理器对姿态传感器、重量传感器和摄像装置的数据进行处理,以获取产品的最终统计数据,方便对柜体内的产品进行统计。
第五方面,本申请实施例提供一种展示柜信息采集装置,包括:检测单元,用于检测柜体的柜门姿态;拍摄单元,用于根据检测到的所述柜门姿态拍摄所述柜体内产品的图像;确定单元,用于根据所述产品的图像确定产品的统计数据。
第六方面,本申请实施例提供一种展示柜信息采集装置,该信息采集装置包括:检测单元,用于检测柜体的柜门姿态;拍摄单元,用于根据检测到的所述柜门姿态拍摄所述柜体内产品的图像;采集单元,用于根据检测到所述柜门姿态检测展示柜的重量变化;确定单元,用于根据所述柜体内产品的图像及所述展示柜的重量变化,确定产品的统计数据。
第七方面,本申请实施例提供一种展示柜,展示柜包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行第二方面任一所述的展示柜信息采集方法或第四方面任一所述的展示柜信息采集方法。展示柜还可包括通信端口,所述通信端口用于该装置与其它设备进行通信,示例性的,通信端口可以是收发器、电路、总线、模块或其它类型的通信端口,其它设备可以为网络设备或终端设备等。
在一个具体的可实现方案中,该信号处理模块包括:存储器,用于存储程序指令;处理器,用于调用存储器中存储的指令,使得所述装置执行本申请第二方面以及第二方面中任意二种可能的设计的方法。
第八方面,本申请实施例还提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行本申请第二方面以及第二方面中任意二种可能的设计的方法或第四方面以及第四方面任一所述的展示柜信息采集方法。
第九方面,本申请实施例中还提供一种计算机程序产品,包括指令,当其在计算机上运行时,使得计算机执行本申请第二方面以及第二方面中任意二种可能的设计的方法。
另外,第五方面至第九方面中任一种可能设计方式所带来的技术效果可参见方法部分中不同设计方式带来的效果,在此不再赘述。
附图说明
图1为本申请实施例提供的展示柜的结构示意图;
图2为本申请实施例提供的展示柜各模块的结构框图;
图3示出了本申请实施例提供的展示柜信息采集方法的流程图;
图4为本申请实施例提供的另一展示柜的结构示意图;
图5为本申请实施例提供的另一展示柜各模块的结构框图;
图6示出了本申请实施例提供的展示柜应用在商场的示意图;
图7示出了本申请实施例提供的展示柜应用在地铁的示意图;
图8示出了本申请实施例提供的展示柜应用在公司的示意图;
图9示出了本申请实施例提供的信号处理模块的结构框图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
需要说明的是,除非另外定义,本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
本说明书实施例中涉及的技术载体,例如可以包括近场通信(Near FieldCommunication,NFC)、WIFI、蜂窝网络通信(如2G/3G/4G/5G等)、POS机刷卡技术、二维码扫码技术、以太网、条形码扫码技术、蓝牙、红外、短消息(Short Message Service,SMS)、多媒体消息(Multimedia Message Service,MMS)等。
本发明中所用的人工智能处理方式,可以采用卷积神经网络(CNN),深度注意力网络(Transformer),多层感知器(MLP)等。
为方便理解本申请公开的展示柜,首先说明其应用场景,本申请实施例提供展示柜应用于各种商场、商店或者市场等末端零售消费场景。现有技术中品牌商只有通过人工获取零售消费情况,或者通过经销商获取,信息容易受人为或者其他因素影响,造成信息不准确。为此本申请实施例提供了一种展示柜,以获取准确的消费记录。下面结合具体的附图以及实施例对其进行详细的说明。
参考图1,图1示例出了本申请实施例提供的展示柜的结构示意图。首先说明展示柜的一些基本特征。展示柜包括柜体100以及柜门200,其中,柜体100内用于容纳产品,该产品包括但不限定各种饮料(冷饮或热饮)。在产品展示时,产品摆放在柜体100内。消费者或者用户在购买或取出产品时,可打开柜门200将产品从柜体100内取出。柜门200在于柜体100连接时,可采用抽拉式或者开合式的方式,在本申请实施例中不做具体限定。在图1中以开合式的柜门200为例进行说明。
继续参考图1,本申请实施例提供的展示柜还包括姿态传感器和摄像装置20,其中,姿态传感器用于检测柜体100的柜门200姿态,而摄像装置20用于拍摄柜体100内产品的图像。姿态传感器可设置在柜门200上,且其设置位置不阻碍摄像装置20拍摄柜体100内的产品。示例性的,姿态传感器可采用摄像头,其固定在柜门200的把手处,在柜门200打开或者关闭时,可通过摄像头拍摄的景象明显区分,以获取柜门200的准确的姿态。
应理解,本申请实施例提供的姿态传感器不仅限于上述的摄像头,还可采用其他类型的传感器。示例性的,姿态传感器可以为设置在柜门200的陀螺仪、光学传感器或超声波传感器等常见的传感器测量得到展示柜的柜门的三维姿态等数据,并根据三维姿态数据得到的柜门的状态检测结果(即,柜门姿态),进而向数据处理器30传输柜门的状态检测结果(即,柜门姿态)。
摄像装置20在设置时,应该可拍摄到柜体100内的产品的排列情况,同时还可以拍摄到产品在售卖时的图像。示例性的,摄像装置20包括一个或者多个拍摄视角朝向柜体100内产品的摄像头。按照功能分,上述摄像头可分为第一摄像头22和第二摄像头21。其中,第二摄像头21用于拍摄产品从柜体内取出或者放入的行为,第一摄像头22用于拍摄产品在柜体100内的陈列数据。在设置时,第二摄像头21与第一摄像头22显著不同之处在于,独特的视角选择,通常适用于陈列数据获取的安装位置。示例性的,第一摄像头20设置在柜门200的中间位置,从而使得阵列摄像头22可拍摄到柜体100内阵列排列的产品;而第二摄像头21设置在柜门200或柜体100的顶端位置,监测顾客购物过程,其视角朝向斜下方,在消费者从柜体100内取出产品时,可通过第二摄像头21拍摄取出的产品。
在获取柜体100内产品的统计情况时,通过上述姿态传感器10和摄像装置20获取柜门姿态以及柜体100内产品状态,并通过设置的数据处理器30对柜门姿态和产品状态进行数据处理。
具体的,参考图2,图2示出了展示柜的各组件的结构框图。其中,姿态传感器10和摄像装置20分别与数据处理器30通信连接,以使得姿态传感器10和摄像装置20采集的信息均可传输到数据处理器30中进行处理。在确定产品的统计数据时,数据处理器30可根据姿态传感器10检测到的柜门姿态控制摄像装置20拍摄柜体100内产品的图像,并根据拍摄的图像确定产品的统计数据。
应理解,上述拍摄的图像可为从摄像装置20中拍摄的录像中截取的图像,或者为摄像装置20直接拍摄的图像。数据处理器30可通过对图像的识别获取产品的种类信息和位置信息,其中,数据处理器30可根据不同产品的外部特征或设定的标识,可识别具体的产品种类,从而得到产品的种类信息。数据处理器30可通过对拍摄到的图像进行包围框检测的方式,确定展示柜中产品的位置信息。
具体的,数据处理器30可以在检测到展示柜的柜门开启的情况下,向摄像装置20下发控制指令;然后,摄像装置20在接收到数据处理器30下发的控制指令后,根据控制指令对展示柜内部进行图像采集,并将采集的图像传输至数据处理器30。然后,数据处理器30在接收到摄像装置20采集的图像后,对图像进行识别,进而确定展示柜内的产品统计数据(例如,种类信息和/位置信息)。
其中,种类信息可以理解为展示柜中所包含产品的至少一个种类信息,位置信息可以理解为展示柜中每个产品的位置信息,以及每个种类的产品在展示柜中的位置信息。
这里,数据处理器30可以通过通用串行总线(Universal Serial Bus,USB)接口与摄像装置20连接,数据处理器30与摄像装置20可以通过USB接口进行数据传输。
在一种实施方式中,摄像装置20,具体可以用于根据数据处理器30下发的控制指令采集包含多帧图像的目标视频流,并将采集的目标视频流传输至数据处理器30。数据处理器30,具体可以用于在目标视频流中提取多个关键图像帧,并将该多个关键图像帧作为上述产品的图像,并针对多个关键图像帧进行目标物品识别。
这里,采集的包含多帧图像的目标视频流可以是摄像装置20按照预设时间间隔采集多帧的静态图像,也可以是采集得到包含连续帧图像的动态视频流,本公开对此不作具体限定,以能够实现为准。
考虑到目标视频流的图像中,各个图像的分辨率、图像相似度可能是不同的,因此这里可以根据预设的分辨率阈值和/或预设的相似度阈值,选择关键图像帧。
具体地,可以根据预设的分辨率阈值,选择图像分辨率大于分辨率阈值的关键图像帧,此时提取出的关键图像帧可以是清晰度较高的图像。通过提取清晰度较高的图像,数据处理器30可以更容易、更准确地识别出目标物品。
或者根据预设的相似度阈值,选择与其他图像的相似度与相似度阈值的差值符合预设条件的关键图像帧。针对采集到的静态图像,可以利用数据处理器30中预先训练好的神经网络模型,识别静态图像中包含的目标物品(例如根据静态图像中的物品外包装信息,识别目标物品)。针对动态的视频流,可以识别视频流的各个关键图像帧中用户从展示柜内拿取目标物品的动作姿态信息以及目标物品被拿取前在展示柜内的陈列位置信息。通过得到用户从展示柜内拿取目标物品的动作姿态信息和目标物品被拿取前在展示柜内的陈列位置信息,数据处理器30可以较为准确地识别出目标物品。
或者是根据预设的分辨率阈值以及相似度阈值,选择图像分辨率大于分辨率阈值且与其他图像的相似度与相似度阈值的差值符合预设条件的关键图像帧,此时选择出的关键图像帧可以是清晰度较高,且与其他图像的相似度符合预设条件的图像,从而数据处理器30可以较为准确地识别出目标物品,具体的识别过程可以参见上文,这里不再赘述。
在本公开实施例中,数据处理器还用于:在所述姿态传感器检测到所述柜门打开时,控制所述摄像装置开始拍摄所述柜体内产品的图像;在所述姿态传感器检测到所述柜门关闭时,控制所述摄像装置停止拍摄所述柜体内产品的图像。
在具体实现数据处理时,姿态传感器10在检测到展示柜的柜门开启时,可以将柜门开启的状态检测结果传输至数据处理器30,数据处理器30在接收到柜门开启的状态检测结果时,可以向摄像装置20下发开始图像采集的第一控制指令,摄像装置20接收到第一控制指令后,开始采集图像。姿态传感器10在检测到展示柜的柜门关闭时,可以将柜门关闭的状态检测结果传输至数据处理器30,数据处理器30在接收到柜门关闭的状态检测结果时,可以向摄像装置20下发停止图像采集的第二控制指令,摄像装置20接收到第二控制指令后,停止采集图像。如此,摄像装置20可以采集到从柜门开启到柜门关闭过程中的视频流。进而,数据处理器30可以根据视频流识别出展示柜内被用户拿取的目标物品。
在一种实施方式中,数据处理器30可以包括中央处理器(Center ProcessingUnits,CPU)和神经网络处理器(Neural-network Processing Units,NPU)。
NPU,用于采用预先训练好的神经网络模型,对摄像装置20采集的图像进行目标物品识别,识别出展示柜内被用户拿取的目标物品,并将识别结果传输给CPU。
CPU,用于获取摄像装置20采集的图像,并将图像传输至NPU进行目标物品识别。
在上述实施方式中,神经网络模型,例如可以是深度学习模型。NPU中可以存储有预先训练好的深度学习模型。CPU可以将摄像装置20采集的图像传输至NPU中预先训练好的神经学习模型中,该神经学习模型可以输出得到图像中包含的展示柜内被用户拿取的目标物品。然后,NPU再识别结果传输给CPU。CPU再根据识别结果,从而根据识别的结果确定展示柜内的产品统计数据。
数据处理器30在确定产品的统计数据时,可根据摄像装置20拍摄的不同图像进行确定。示例性的,数据处理器30基于所述第一图像确定所述柜体的柜门打开时的产品状态,并基于所述第二图像确定所述柜门关闭时的产品状态;之后,数据处理器30具体通过摄像装置20拍摄的柜体的柜门打开时的产品状态与柜门关闭时的产品状态之间的对比结果确定产品的统计数据。如在摄像装置20拍摄时,阵列摄像头22在柜门打开时拍摄产品在柜体内的排列状态,并在柜门关闭时拍摄产品在柜体内的另一排列状态。数据处理器30可通过对比第一摄像头拍摄的柜门打开和关闭时产品的不同排列的图像之间的差异,确定产品的统计数据。或者,数据处理器30还可具体通过柜门打开后,产品从柜体内取出的图像确定产品的统计数据。如第二摄像头在拍摄消费者从柜体内取出产品的录像中提取包含产品特征清晰的图像,通过图像信息也可准确的获取产品的统计数据。数据处理器30在确定产品统计记录时,可择一选择上述的确定方式,也可同时采用上述的两种方式,从而可获取更准确的信息。
作为一个可选的方案,在数据处理器30通过摄像装置20确定产品的统计数据时,数据处理器30还可对摄像装置20拍摄的图像中的人体特征进行虚化处理,从而保护顾客隐私,以及满足部分国家和地区个人信息安全相关的法规需求,摄像头所采集的影像数据,可以完全在本地处理,并对人脸等生物特征进行匿名化处理。
另外,数据处理器30可根据对图像的处理结果区分是消费者购买产品的行为还是供应商给柜体内添加产品的行为。上述具体的数据分析可通过人工智能数据具体分析实现。示例性的,该数据处理器30可为边缘人工智能模块,用于处理和识别上述摄像头拍到的影像,为了降低物联网流量传输费用,本实例使用边缘人工智能模块,在展示柜本地进行人工智能数据分析处理。
在一种方式中,展示柜还可以包括人体接近传感器。人体接近传感器可以与数据处理器30连接。人体接近传感器可以在检测到用户与展示柜的距离在预设距离范围内时,向数据处理器30发送感应信号。数据处理器30可以在接收到感应信号的情况下,将用于提示用户打开柜门,从展示柜中拿取物品并向摄像装置20展示所拿取的物品的音频提示信息传输给用户,以方便对展示柜内的产品进行统计。
为了使品牌商可准确的获取展示柜中产品的统计数据。本申请实施例提供的展示柜还包括一通信模块40,该通信模块40与数据处理器30通信连接,且通信模块40可将数据处理器30得到的统计数据发送给云端服务器,从而使得品牌商可获取更准确的产品统计数据。具体的,通信模块40可通过无线通信或者有线通信的方式与云端服务器连接。
作为一个可选的方案,为方便统计产品统计数据。本申请实施例提供的柜体还可包含身份信息;其身份信息可存储在数据处理器30,在通信模块40将产品统计数据上传到云端服务器时,同时将展示柜的身份信息一起对应上传,以使得品牌商对不同地区的产品情况有更准确的统计。除上述方式外,展示柜还可包含定位模块(如GPS(GlobalPositioning System,全球定位系统)),在通信模块40上产品统计数据时,同步上传展示柜的位置信息。
通过上述描述可看出,本申请实施例提供的展示柜,通过姿态传感器10获取柜体是否出现售卖情况,通过摄像装置20获取产品售卖的情况,并通过数据处理器30对姿态传感器10和摄像装置20的数据进行处理,监测顾客购物过程,通过人工智能方式,分析顾客购买的商品种类,进而统计出商品情况,并通过通信模块40将统计数据上报到对应平台,提高了数据统计的准确性。
作为一个可选的方案,为方便统计产品统计数据。本申请实施例提供的柜体还可包含身份信息;其身份信息可存储在数据处理器,在通信模块将产品统计信息上传到云端服务器时,同时将展示柜的身份信息一起对应上传,以使得品牌商对不同地区的产品情况有更准确的统计。除上述方式外,展示柜还可包含定位模块(如GPS(Global PositioningSystem,全球定位系统)),在通信模块上产品统计数据时,同步上传展示柜的位置信息。
为方便理解本申请实施例提供的展示柜对产品统计,本申请实施例还提供了一种展示柜信息采集方法,下面结合图3对其进行详细的说明。
步骤001:检测柜体的柜门姿态;
具体的,通过姿态传感器检测柜门姿态,该姿态传感器固定在柜门上,且其设置位置不阻碍摄像装置拍摄柜体内的产品。示例性的,姿态传感器固定在柜门的把手处,在柜门打开或者关闭时,可通过摄像头拍摄的景象明显区分,以获取柜门的准确的姿态。另外,姿态传感器还可采用其他类型的传感器。示例性的,姿态传感器可以为设置在柜门的陀螺仪、光学传感器或超声波传感器等常见的传感器,均可实现对柜门姿态的检测。
步骤002:根据检测到柜门姿态拍摄柜体内产品的图像;
具体的,在基于姿态传感器采集到的柜门姿态检测到柜门打开时,控制摄像装置开始拍摄柜体内产品的图像;在基于姿态传感器采集到的柜门姿态检测到柜门关闭时,控制摄像装置停止拍摄柜体内产品的图像。也即在姿态传感器未检测到柜门打开时,摄像装置停止工作处于休眠状态中;在姿态传感器检测到柜门打开时,摄像装置开始拍摄记录。
上述摄像装置的工作通过数据处理器控制,具体的,数据处理器还用于在姿态传感器检测到柜门打开时,控制摄像装置开始拍摄柜体内产品的图像;在姿态传感器检测到柜门关闭时,控制摄像装置停止拍摄柜体内产品的图像。在使用时,当姿态传感器检测柜门打开时,数据处理器接收到姿态传感器的信号后,控制摄像装置开始拍摄,并且通过第一摄像头获取柜体内产品的陈列状态图像,其中,该陈列状态图像用于确定展示柜中产品的陈列数据;通过第二摄像头获取消费者从柜体内取出产品的图像。当姿态传感器检测到柜门关闭时,数据处理器控制所述摄像装置停止拍摄。
在采用上述方式时,摄像装置无需一直处于工作状态,仅在柜门姿态发生变化时,才会记录,从而降低了摄像装置的能耗,同时也可提高摄像装置的使用寿命。
步骤003:根据产品的图像确定产品的统计数据。
具体的,数据处理器可以对拍摄的产品的图像进行处理,以获取产品的统计数据。在具体确定产品的统计数据时,可根据不同的方式确定。示例性的:
1)基于柜体的柜门打开时的产品状态与柜门关闭时的产品状态之间的对比结果确定产品的统计数据。具体的可参考图3中的相关描述。
2)根据拍摄的图像确定产品的统计数据具体为:在检测到所述柜门打开后,基于拍摄的所述产品从柜体内取出的图像确定产品的统计数据,其中,该产品从柜体内取出的图像为柜门打开后,产品从柜体内取出的图像。具体的可参考图3中的相关描述。
作为一个可选的方案,在采用通过录像进行确定产品统计数据时,可对摄像装置拍摄的图像中的人体特征进行虚化处理。
步骤004:将统计数据发送给云端服务器。
具体的,通过通信模块可将数据处理器得到的统计数据发送给云端服务器,从而使得品牌商可获取更准确的产品统计数据。
通过上述描述可看出,本申请实施例提供的展示柜对产品统计方法可准确的获取末端产品的统计数据,方便对产品情况的统计。
为方便理解本申请实施例提供的展示柜对产品统计,本申请实施例还提供了一种展示柜信息采集装置,该装置包括:检测单元、拍摄单元、确定单元;
检测单元,用于检测柜体的柜门姿态;
拍摄单元,用于根据检测到所述柜门姿态拍摄所述柜体内产品的图像;
确定单元,用于根据所述产品的图像确定产品的统计数据。
一种可能的实施方式中,拍摄单元,还用于:在基于所述柜门姿态检测到所述柜门打开时,拍摄所述柜体内产品的图像;在基于所述柜门姿态检测到所述柜门关闭时,停止拍摄所述柜体内产品的图像。
一种可能的实施方式中,确定单元,还用于:基于所述柜体的柜门打开时的产品状态与所述柜门关闭时的产品状态之间的对比结果确定所述产品的统计数据。
一种可能的实施方式中,确定单元,还用于:在基于所述柜门姿态检测到所述柜门打开后,基于拍摄的所述产品从柜体内取出的图像确定所述产品的统计数据。
一种可能的实施方式中,该装置还用于:对所述摄像装置拍摄的图像中的人体特征进行虚化处理。
一种可能的实施方式中,该装置还用于:对拍摄所述柜体内产品的图像中的人体特征进行虚化处理。
通过上述描述可知,在本公开实施例中,可以通过姿态传感器获取柜体的柜门状态,并通过摄像装置获取柜体内产品的图像,从而通过数据处理器对姿态传感器获取到的柜门状态和摄像装置拍摄到的图像进行处理得到产品的统计数据。
为了提高统计数据的准确性,该数据处理器还可以根据所述姿态传感器检测到的所述柜门姿态控制重量传感器检测展示柜的重量变化;并根据所述柜体内产品的图像及所述重量传感器检测的展示柜的重量变化,确定产品的统计数据。
通过结合柜体内产品的图像和重量变化确定产品的统计数据的方式,可以在方便运维人员对产品的销售情况进行统计,进一步提高统计数据的准确性,从而得到更加准确的统计数据,下面将结合具体实施例对通过结合柜体内产品的图像和重量变化确定产品的统计数据的方式进行详细介绍。
参考图4,本申请实施例还提供了另外一种展示柜。区别图1所示的展示柜,图4所示的展示柜在统计产品数据时,增加了重量传感器与摄像装置配合采集数据来统计展示柜内产品的统计数据。图4中的展示柜的柜体结构与图1中的柜体结构类似,在此不再详细赘述。下面结合附图对展示柜统计产品数据的方式进行详细介绍。
继续参考图4,图4中的相同标号可参考图1中的相同标号,图4中的姿态传感器、摄像装置、通信模块等可参考图1中所示展示柜对应的描述,在此不再详细赘述。
在统计展示柜内的产品时,展示柜还包括一个用于检测展示柜的整体重量的重量传感器50,该重量传感器50用于检测展示柜的整体重量,并将检测的展示柜的整体重量作为数据处理器30判断展示柜产品的统计数据的一个参考数据。例如,可以基于检测到的整体重量确定展示柜的重量变化,进而将该重量变化作为数据处理器30判断展示柜产品的统计数据的一个参考数据。
在具体实施时,由于展示柜的整机空载重量是恒定值,且产品单位重量也是相对固定的值,特别是饮料行业,单瓶重量由于容量一样,密度一样,重量因此也相对固定。因此,为了方便统计展示柜内的产品的统计数据,通过测量展示柜的整机的重量变化情况,并结合摄像装置的信息,可以更加准确地得到每次开门的产品进行统计,从而可获取产品的销售种类和数量,也可以更加准确地获得每次补货的数量等数据。下面结合具体的附图对其进行详细的说明。
应理解,本申请中的重量传感器可以采用压力称重传感器,也可以采用电阻应变式传感器,还可以通过其它物理量,如重量引起的位移变化,通过测量位移的光学,超声传感器等不同类型的传感器。
在获取柜体100内产品的统计情况时,通过上述姿态传感器10、摄像装置20以及重量传感器50来获取柜体100内产品的不同信息,并通过设置的数据处理器30进行数据处理。
具体的,参考图5,图5示出了展示柜的各组件的结构框图。其中,姿态传感器10、重量传感器50和摄像装置20分别与数据处理器30通信连接,以使得姿态传感器10、重量传感器50和摄像装置20采集的信息均可传输到数据处理器30中进行处理。在确定产品的统计数据时,数据处理器30可根据姿态传感器10检测到柜门200的姿态控制摄像装置20拍摄柜体100内产品的图像及控制重量传感器50检测的展示柜的重量变化,确定产品的统计数据。
在重量传感器50采集展示柜的整体重量时,会在展示柜出厂时,进行第一次校准,并自动记录为一个空载重量,该空载重量为该型号展示柜标准配置重量,当该展示柜每次通电使用时,会读取重量传感器50数值,并计算与标准配重重量之间的差值。该差值即为展示柜内当前产品的重量。当柜体内的产品出现变化时,对应的重量传感器检测的展示柜的重量也会发生变化,通过计算柜门打开后,重量传感器50检测的重量变化,可清晰的获取产品被取出或放入的重量变化。
在本申请实施例中,由于饮料品牌和种类较多,为了减少计算误差和缩小计算范围,数据处理器30同时根据摄像装置20采集的柜体内产品的陈列数据,进行联合计算。具体的,数据处理器30可根据述拍摄的柜体内产品的图像确定产品信息,并根据产品信息中的重量信息以及重量传感器检测到的展示柜的重量变化,计算产品的统计数据。
举例来说,假设展示柜空载重量为200Kg,可以摆5层,10排面,6排列,容量共为300瓶,假设品牌商分别有250mL,380mL,500mL,1000mL容量不同种类和口味的饮料。
初次空载通电后,重量传感器50读取的重量为200Kg,为了便于计算,假设250mL装饮料重量为250g、380mL装饮料重量为380g,以此类推,由于存在多种重量的可能性,因此需要借助摄像装置20的陈列数据,进行辅助判断,假设识别到了500mL和1000mL两种容量类型的饮料,且500mL占2层,10排面,1000mL占3层10排面,如果初次补货完后,重量传感器识别到总重量为440Kg,则说明展示柜为满载陈列。
如果识别到总重量为其它质量,则说明没有满载陈列,通过简单的多元方程求解,则可以计算出所有可能性,并结合摄像装置20拍摄的图像,从而获取柜体内产品中的统计数据。示例性的,当总重量减少的重量,恰好为单瓶容量的重量时,或仅为某个容量的整数倍时,则可以准确地判定该次产品为该容量的品类,从而可以确定产品从柜体内取出记录。同时也可根据柜门打开后,产品从柜体内取出的图像确定产品的取出记录。
应理解,数据处理器30可通过对图像的识别获取产品的种类信息,根据不同产品的外部特征或设定的标识,可识别具体的产品种类和产品位置。另外,数据处理器30可根据对图像的处理结果以及重量传感器的重量检测结果区分是从展示柜内取出产品的行为还是给柜体内添加产品的行为,上述具体的数据分析可通过人工智能数据具体分析实现。
示例性的,该数据处理器30可为边缘人工智能模块,用于处理和识别上述摄像头拍到的影像,为了降低物联网流量传输费用,本实例使用边缘人工智能模块,在展示柜本地进行人工智能数据分析处理。
在具体通过数据处理器30确定产品统计数据时,数据处理器30通过姿态传感器10检测的柜门姿态控制摄像装置20及重量传感器50的工作状态。具体的,数据处理器30还用于在姿态传感器10检测到柜门打开时,控制摄像装置20开始拍摄柜体内产品;在姿态传感器10检测到柜门关闭时,控制摄像装置20停止拍摄柜体内产品,同时控制重量传感器50检测展示柜的整体重量变化。在使用时,当姿态传感器10检测柜门打开时,数据处理器30接收到姿态传感器10的信号后,控制摄像装置20开始拍摄,并且通过第一摄像头获取柜体内产品的陈列状态图像,通过第二摄像头获取消费者从柜体内取出产品的图像。当姿态传感器10检测到柜门关闭时,数据处理器30控制所述摄像装置20停止拍摄。在采用上述方式时,摄像装置20和重量传感器50无需一直处于工作状态,仅在柜门姿态发生变化时,才会记录,从而降低了摄像装置20的能耗,同时也可提高摄像装置20的使用寿命。
数据处理器30在确定产品统计数据时,可根据摄像装置20拍摄的不同图像进行确定。示例性的,数据处理器30具体通过摄像装置20拍摄的柜体的柜门打开时的产品状态与柜门关闭时的产品状态对比结果结合重量变化确定产品的统计数据。如在摄像装置20拍摄时,阵列摄像头22在柜门打开时拍摄产品在柜体内的排列状态,并在柜门关闭时拍摄产品在柜体内的另一排列状态。数据处理器30可通过对比第一摄像头拍摄的柜门打开和关闭时产品的不同排列的图像之间的差异以及展示柜重量变化,确定产品的统计数据。或者,数据处理器30还可具体通过柜门打开后,产品从柜体内取出的图像及对应的重量变化确定产品的统计数据。如第二摄像头在拍摄消费者从柜体内取出产品的录像中提取包含产品特征清晰的图像,通过图像信息与展示柜重量变化也可准确的获取产品的统计数据。数据处理器30在确定产品消费记录时,可择一选择上述的确定方式,也可同时采用上述的两种方式,从而可获取更准确的信息。
作为一个可选的方案,数据处理器30还可对摄像装置20拍摄的图像中的人体特征进行虚化处理,从而保护顾客隐私,以及满足部分国家和地区个人信息安全相关的法规需求,摄像头所采集的影像数据,可以完全在本地处理,并对人脸等生物特征进行匿名化处理。
在一种方式中,展示柜还可以包括人体接近传感器。人体接近传感器可以与数据处理器30连接。人体接近传感器可以在检测到用户与展示柜的距离在预设距离范围内时,向数据处理器30发送感应信号。数据处理器30可以在接收到感应信号的情况下,将用于提示用户打开柜门,从展示柜中拿取产品并向摄像装置20展示所拿取的产品的音频提示信息传输给用户,以方便可以获取更准确的取出产品的产品信息。
作为一个可选的方案,为方便统计产品统计数据。本申请实施例提供的柜体还可包含身份信息;其身份信息可存储在数据处理器30,在通信模块40将产品统计数据上传到云端服务器时,同时将展示柜的身份信息一起对应上传,从而可对不同地区的产品情况有更准确的统计。除上述方式外,展示柜还可包含定位模块(如GPS(Global PositioningSystem,全球定位系统)),在通信模块40上产品统计数据时,同步上传展示柜的位置信息。
通过上述描述可看出,本申请实施例提供的展示柜,数据处理器30、重量传感器50、摄像装置20的配合统计出产品展示情况,并通过通信模块40将展示数据上报到对应平台,提高了数据统计的准确性。
为方便理解本申请实施例提供的展示柜对产品统计,本申请实施例还提供了一种展示柜信息采集方法,下面对其进行详细的说明。
步骤001:检测柜体的柜门姿态;
具体的,通过姿态传感器检测柜门姿态,该姿态传感器固定在柜门上,且其设置位置不阻碍摄像装置拍摄柜体内的产品。示例性的,姿态传感器固定在柜门的把手处,在柜门打开或者关闭时,可通过摄像头拍摄的景象明显区分,以获取柜门的准确的姿态。另外,姿态传感器还可采用其他类型的传感器。示例性的,姿态传感器可以为设置在柜门的陀螺仪、光学传感器或超声波传感器等常见的传感器,均可实现对柜门状态的检测。
步骤002:根据检测到的柜门姿态拍摄柜体内产品的图像;
具体的,在姿态传感器检测到柜门打开时,控制摄像装置开始拍摄柜体内产品的图像;在姿态传感器检测到柜门关闭时,控制摄像装置停止拍摄柜体内产品的图像。也即在姿态传感器未检测到柜门打开时,摄像装置停止工作处于休眠状态中;在姿态传感器检测到柜门打开时,摄像装置开始拍摄记录。
上述摄像装置的工作通过数据处理器控制,具体的,数据处理器还用于在基于姿态传感器采集到的柜门姿态检测到柜门打开时,控制摄像装置开始拍摄柜体内产品;在基于姿态传感器采集到的柜门姿态检测到柜门关闭时,控制摄像装置停止拍摄柜体内产品。
在使用时,当姿态传感器检测柜门打开时,数据处理器接收到姿态传感器的信号后,控制摄像装置开始拍摄,并且通过第一摄像头获取柜体内产品的陈列状态图像,通过第二摄像头获取消费者从柜体内取出产品的图像。当姿态传感器检测到柜门关闭时,数据处理器控制所述摄像装置停止拍摄。在采用上述方式时,摄像装置无需一直处于工作状态,仅在柜门姿态发生变化时,才会记录,从而降低了摄像装置的能耗,同时也可提高摄像装置的使用寿命。
步骤003:根据检测到柜门姿态检测展示柜的重量变化;
具体的,通过重量传感器检测柜体的重量信息;在柜门姿态发生变化时,通过重量传感器检测展示柜的整体重量,并基于整体重量确定展示柜的重量变化。示例性的,重量传感器可以采用压力称重传感器,也可以采用电阻应变式传感器,还可以通过其它物理量,如重量引起的位移变化,通过测量位移的光学,超声传感器等不同类型的传感器。
步骤004:根据所述柜体内产品的图像及所述重量传感器检测的展示柜的重量变化,确定产品的统计数据。
在具体确定统计数据时,可通过重量传感器以及拍摄的柜体内的图像相结合得到产品的具体统计数据,具体可参考图5中的相关描述。
作为一个可选的方案,在采用通过展示录像进行确定产品统计数据时,可对摄像装置拍摄的产品的图像中的人体特征进行虚化处理。
步骤005:将统计数据发送给云端服务器。
具体的,通过通信模块可将数据处理器得到的统计数据发送给云端服务器,从而使得品牌商可获取更准确的产品统计数据。
作为一个可选的方案,为方便统计产品统计数据。本申请实施例提供的柜体还可包含身份信息;其身份信息可存储在数据处理器,在通信模块将产品展示信息上传到云端服务器时,同时将展示柜的身份信息一起对应上传,以使得品牌商对不同地区的产品展示情况有更准确的统计。除上述方式外,展示柜还可包含定位模块(如GPS(GlobalPositioning System,全球定位系统)),在通信模块上产品统计数据时,同步上传展示柜的位置信息。
通过上述描述可看出,本申请实施例提供的展示柜对产品统计方法可准确的获取展示柜的产品的统计数据,方便对产品情况的统计。
为方便理解本申请实施例提供的展示柜对产品统计,本申请实施例还提供了一种展示柜信息采集装置,该装置包括:检测单元、拍摄单元、采集单元、确定单元;其中,
检测单元,用于检测柜体的柜门姿态;
拍摄单元,用于根据检测到所述柜门姿态拍摄所述柜体内产品的图像;
采集单元,用于根据检测到所述柜门姿态检测展示柜的整体重量;
确定单元,用于根据所述柜体内产品的图像及所述展示柜的重量变化,确定所述产品的统计数据。
一种可能的实施方式中,确定单元,还用于:根据所述拍摄的柜体内产品的图像确定所述产品信息;根据所述产品信息确定产品对应的重量信息;根据所述重量变化、所述产品对应的重量信息,计算所述产品的统计数据。
一种可能的实施方式中,拍摄单元,还用于:在基于所述柜门姿态检测到所述柜门打开时,拍摄所述柜体内产品的图像;在基于所述柜门姿态检测到所述柜门关闭时,停止拍摄所述柜体内产品的图像。
一种可能的实施方式中,该装置还用于:对拍摄所述柜体内产品的图像中的人体特征进行虚化处理。
一种可能的实施方式中,该装置还用于:将所述统计数据发送给云端服务器。
对应于展示柜信息采集方法,本申请实施例还提供一种展示柜,展示柜包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述两种信息采集方法中的任一种方法。展示柜还可包括通信端口,所述通信端口用于该装置与其它设备进行通信,示例性的,通信端口可以是收发器、电路、总线、模块或其它类型的通信端口,其它设备可以为网络设备或终端设备等。
本申请实施例还提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行本申请上述实施例中示出的展示柜信息采集方法。
本申请实施例中还提供一种计算机程序产品,包括指令,当其在计算机上运行时,使得计算机执行上述实施例中示出的。
参考图6,图6示例出了展示柜300在商场内的一种具体的应用方式。展示柜300的具体结构可参考图1或图4中的相关描述,在此不再具体详细说明。在展示柜300应用在商场内时,用户可直接从展示柜300内取出产品并进行消费,展示柜300通过采集柜门姿态,采集用户取出产品的产品信息,以获取该产品的统计数据。具体的统计数据方式可上述所示的统计方法,在此不再详细赘述。
参考图7,图7示例出了展示柜300在地铁内的一种具体的应用方式。展示柜300的具体结构可参考图1或图4中的相关描述,在此不再具体详细说明。在展示柜300应用在地铁站内时,乘客可通过扫码支付或者现金支付等方式付费,付费后可直接从展示柜300内取出产品,展示柜300通过采集柜门姿态,采集用户取出产品的产品信息,以获取该产品的统计数据。具体的统计数据方式可上述所示的统计方法,在此不再详细赘述。
参考图8,图8示例出了展示柜300在公司内的一种具体的应用方式。展示柜300的具体结构可参考图1或图5中的相关描述,在此不再具体详细说明。在展示柜300应用在公司内时,公司内部成员可直接从展示柜300内取出产品,展示柜300通过采集柜门姿态,采集用户取出产品的产品信息,以获取该产品的统计数据。具体的统计数据方式可上述所示的统计方法,在此不再详细赘述。
如图9所示,本申请实施例还提供了信号处理模块1000用于实现上述方法的功能。该信号处理模块1000可以是通信设备,也可以是通信设备中的装置。信号处理模块1000包括至少一个处理器1001,用于实现上述方法中装置的功能。示例地,处理器1001可以用于根据获取的第一芯片的收发需求控制通信端口1003(发送端口)进行状态切换,具体参见方法中的详细描述,此处不再说明。
在一些实施例中,该信号处理模块1000还可以包括至少一个存储器1002,用于存储程序指令和/或数据。存储器1002和处理器1001耦合。本申请实施例中的耦合是装置、单元或模块之间的间隔耦合或通信连接,可以是电性,机械或其它的形式,用于装置、单元或模块之间的信息交互。作为另一种实现,存储器1002还可以位于信号处理模块1000之外。处理器1001可以和存储器1002协同操作。处理器1001可能执行存储器1002中存储的程序指令。至少一个存储器中的至少一个可以包括于处理器中。
在一些实施例中,信号处理模块1000包括通信端口1003,用于通过传输介质和其它设备进行通信,从而用于信号处理模块1000中的装置可以和其它设备进行通信。示例性地,通信端口1003可以是收发器、电路、总线、模块或其它类型的通信端口,该其它设备可以是网络设备或其它终端设备等。处理器1001利用通信端口1003收发数据,并用于实现上述实施例中的方法。示例性的,通信端口1003可以用于传递信号。
本申请实施例中不限定上述通信端口1003、处理器1001以及存储器1002之间的连接介质。例如,本申请实施例在图6中以存储器1002、处理器1001以及通信端口1003之间可以通过总线连接,总线可以分为地址总线、数据总线、控制总线等。
在本申请实施例中,处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
在本申请实施例中,存储器可以是非易失性存储器,比如硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD)等,还可以是易失性存储器(volatilememory),例如随机存取存储器(random-access memory,RAM)。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
本申请实施例提供的方法中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、网络设备、消费者设备或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字消费者线(digital subscriber line,简称DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,数字视频光盘(digital video disc,简称DVD))、或者半导体介质(例如,SSD)等。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (21)
1.一种展示柜,其特征在于,包括柜体;
姿态传感器,用于检测所述柜体的柜门姿态;
摄像装置,用于拍摄所述柜体内产品的图像;
数据处理器,用于根据所述姿态传感器检测到的所述柜门姿态控制所述摄像装置拍摄所述柜体内产品的图像;并根据所述产品的图像确定所述产品的统计数据。
2.根据权利要求1所述的展示柜,其特征在于,所述数据处理器还用于:在所述姿态传感器检测到所述柜门打开时,控制所述摄像装置开始拍摄所述柜体内产品的图像;在所述姿态传感器检测到所述柜门关闭时,控制所述摄像装置停止拍摄所述柜体内产品的图像。
3.根据权利要求2所述的展示柜,其特征在于,所述数据处理器,还用于:
基于所述柜体的柜门打开时的产品状态与所述柜门关闭时的产品状态之间的对比结果确定所述产品的统计数据。
4.根据权利要求2所述的展示柜,其特征在于,所述数据处理器,还用于:
在在基于所述柜门姿态检测到所述柜门打开后,基于拍摄的所述产品从柜体内取出的图像确定所述产品的统计数据。
5.根据权利要求4所述的展示柜,其特征在于,所述数据处理器还用于:对所述摄像装置拍摄的图像中的人体特征进行虚化处理。
6.一种展示柜信息采集方法,其特征在于,应用于展示柜,包括以下步骤:
检测柜体的柜门姿态;
根据检测到的所述柜门姿态拍摄所述柜体内产品的图像;
根据所述产品的图像确定产品的统计数据。
7.根据权利要求6所述的展示柜信息采集方法,其特征在于,所述根据检测到所述柜门姿态拍摄所述柜体内产品的图像具体为:
在基于所述柜门姿态检测到所述柜门打开时,拍摄所述柜体内产品的图像;
在基于所述柜门姿态检测到所述柜门关闭时,停止拍摄所述柜体内产品的图像。
8.根据权利要求7所述的展示柜信息采集方法,其特征在于,所述根据所述产品的图像确定产品的统计数据具体为:
基于所述柜体的柜门打开时的产品状态与所述柜门关闭时的产品状态之间的对比结果确定所述产品的统计数据。
9.根据权利要求8所述的展示柜信息采集方法,其特征在于,所述根据所述产品的图像确定产品的统计数据具体为:
在基于所述柜门姿态检测到所述柜门打开后,基于拍摄的所述产品从柜体内取出的图像确定所述产品的统计数据。
10.根据权利要求9所述的展示柜信息采集方法,其特征在于,还包括:
对拍摄所述柜体内产品的图像中的人体特征进行虚化处理。
11.一种展示柜,其特征在于,包括柜体;
姿态传感器,用于检测所述柜体的柜门姿态;
摄像装置,用于拍摄所述柜体内产品的图像;
重量传感器,用于检测展示柜的重量变化;
数据处理器,根据所述姿态传感器检测到的所述柜门姿态控制所述摄像装置拍摄所述柜体内产品的图像以及控制所述重量传感器检测所述展示柜的重量变化;并根据所述柜体内产品的图像及所述重量传感器检测的所述展示柜的重量变化,确定产品的统计数据。
12.根据权利要求11所述的展示柜,其特征在于,所述数据处理器根据所述柜体内产品的图像及所述重量传感器检测的展示柜的重量变化具体为:所述数据处理器根据拍摄的所述柜体内产品的图像确定产品信息,并根据所述产品信息确定所述产品对应的重量信息;并根据所述重量传感器检测到的所述展示柜的重量变化、所述产品对应的重量信息,计算所述产品的统计数据。
13.根据权利要求11所述的展示柜,其特征在于,所述数据处理器还用于:在所述姿态传感器检测到所述柜门打开时,控制所述摄像装置开始拍摄所述柜体内产品的图像;在所述姿态传感器检测到所述柜门关闭时,控制所述摄像装置停止拍摄所述柜体内产品的图像。
14.根据权利要求13所述的展示柜,其特征在于,所述数据处理器还用于:
在检测所述柜门打开后,基于拍摄的所述柜体内产品的图像确定产品的取出记录。
15.根据权利要求14所述的展示柜,其特征在于,所述数据处理器还用于:对所述摄像装置拍摄的图像中的人体特征进行虚化处理。
16.一种展示柜信息采集方法,其特征在于,应用于展示柜,包括以下步骤:
检测所述展示柜的柜体的柜门姿态;
根据检测到的所述柜门姿态拍摄所述柜体内产品的图像;
根据检测到的所述柜门姿态检测所述展示柜的重量变化;
根据所述柜体内产品的图像及所述展示柜的重量变化,确定所述产品的统计数据。
17.根据权利要求16所述的展示柜信息采集方法,其特征在于,所述根据所述柜体内产品的图像及所述展示柜的重量变化,确定所述产品的统计数据具体为:
根据所述拍摄的柜体内产品的图像确定所述产品信息;
根据所述产品信息确定产品对应的重量信息;
根据所述重量变化、所述产品对应的重量信息,计算所述产品的统计数据。
18.根据权利要求17所述的展示柜信息采集方法,其特征在于,所述根据检测到的所述柜门姿态拍摄所述柜体内产品的图像具体为:
在基于所述柜门姿态检测到所述柜门打开时,拍摄所述柜体内产品的图像;
在基于所述柜门姿态检测到所述柜门关闭时,停止拍摄所述柜体内产品的图像。
19.根据权利要求18所述的展示柜信息采集方法,其特征在于,还包括:
对拍摄所述柜体内产品的图像中的人体特征进行虚化处理。
20.一种展示柜,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求6至10任一所述的展示柜信息采集方法或如权利要求16至19任一项所述的展示柜信息采集方法。
21.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求6至10任一所述的展示柜信息采集方法或权利要求16至19任一项所述的展示柜信息采集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111672521.8A CN114333146A (zh) | 2021-12-31 | 2021-12-31 | 一种展示柜、展示柜信息采集方法及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111672521.8A CN114333146A (zh) | 2021-12-31 | 2021-12-31 | 一种展示柜、展示柜信息采集方法及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114333146A true CN114333146A (zh) | 2022-04-12 |
Family
ID=81020065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111672521.8A Pending CN114333146A (zh) | 2021-12-31 | 2021-12-31 | 一种展示柜、展示柜信息采集方法及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114333146A (zh) |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104992399A (zh) * | 2015-08-06 | 2015-10-21 | 四川菜龙电子商务有限公司 | 一种社区智慧小屋及其实现方法 |
CN205103931U (zh) * | 2015-10-14 | 2016-03-23 | 厦门市艾升科技有限公司 | 一种自助服务终端 |
US20170301173A1 (en) * | 2014-09-23 | 2017-10-19 | Bubbly Group As | Vending machine |
CN107578537A (zh) * | 2017-08-25 | 2018-01-12 | 深圳市维冠视界科技股份有限公司 | 一种自助售货机及自助售货机的数据推送方法 |
CN108549851A (zh) * | 2018-03-27 | 2018-09-18 | 合肥美的智能科技有限公司 | 智能货柜内货品识别方法及装置、智能货柜 |
CN109147170A (zh) * | 2018-07-26 | 2019-01-04 | 上海凯景信息技术有限公司 | 一种基于图像识别的无人售货柜 |
CN208938229U (zh) * | 2018-10-12 | 2019-06-04 | 广州知化文化传播有限公司 | 自动售酒系统 |
CN109979130A (zh) * | 2019-03-29 | 2019-07-05 | 厦门益东智能科技有限公司 | 一种商品自动识别和结算售货柜、方法以及系统 |
CN110147060A (zh) * | 2019-05-27 | 2019-08-20 | 广州庆杰科技有限公司 | 一种自由组合多功能无人售卖机的电路控制系统 |
CN110555939A (zh) * | 2018-05-30 | 2019-12-10 | 展讯通信(上海)有限公司 | 自动售货机 |
CN210119828U (zh) * | 2020-01-14 | 2020-02-28 | 深圳惠通天下信息技术有限公司 | 一种具有人脸识别功能的自助售水机 |
CN111626201A (zh) * | 2020-05-26 | 2020-09-04 | 创新奇智(西安)科技有限公司 | 商品检测方法、装置及可读存储介质 |
CN111815852A (zh) * | 2020-07-07 | 2020-10-23 | 武汉马克到家科技有限公司 | 一种用于开门自取式售货柜的图像和重力双模自动商品识别系统 |
CN113066225A (zh) * | 2019-12-30 | 2021-07-02 | 深圳Tcl新技术有限公司 | 一种基于共享冰箱的购物方法及共享冰箱 |
CN113114895A (zh) * | 2021-04-13 | 2021-07-13 | 合肥美的智能科技有限公司 | 货柜的控制方法、货柜和可读存储介质 |
CN213781100U (zh) * | 2020-05-14 | 2021-07-23 | 青岛海纳云科技控股有限公司 | 储物柜 |
CN113538780A (zh) * | 2021-08-06 | 2021-10-22 | 南京宝坚电子科技有限公司 | 一种通过称重传感器识别货品的装置及方法 |
-
2021
- 2021-12-31 CN CN202111672521.8A patent/CN114333146A/zh active Pending
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170301173A1 (en) * | 2014-09-23 | 2017-10-19 | Bubbly Group As | Vending machine |
CN104992399A (zh) * | 2015-08-06 | 2015-10-21 | 四川菜龙电子商务有限公司 | 一种社区智慧小屋及其实现方法 |
CN205103931U (zh) * | 2015-10-14 | 2016-03-23 | 厦门市艾升科技有限公司 | 一种自助服务终端 |
CN107578537A (zh) * | 2017-08-25 | 2018-01-12 | 深圳市维冠视界科技股份有限公司 | 一种自助售货机及自助售货机的数据推送方法 |
CN108549851A (zh) * | 2018-03-27 | 2018-09-18 | 合肥美的智能科技有限公司 | 智能货柜内货品识别方法及装置、智能货柜 |
CN110555939A (zh) * | 2018-05-30 | 2019-12-10 | 展讯通信(上海)有限公司 | 自动售货机 |
CN109147170A (zh) * | 2018-07-26 | 2019-01-04 | 上海凯景信息技术有限公司 | 一种基于图像识别的无人售货柜 |
CN208938229U (zh) * | 2018-10-12 | 2019-06-04 | 广州知化文化传播有限公司 | 自动售酒系统 |
CN109979130A (zh) * | 2019-03-29 | 2019-07-05 | 厦门益东智能科技有限公司 | 一种商品自动识别和结算售货柜、方法以及系统 |
CN110147060A (zh) * | 2019-05-27 | 2019-08-20 | 广州庆杰科技有限公司 | 一种自由组合多功能无人售卖机的电路控制系统 |
CN113066225A (zh) * | 2019-12-30 | 2021-07-02 | 深圳Tcl新技术有限公司 | 一种基于共享冰箱的购物方法及共享冰箱 |
CN210119828U (zh) * | 2020-01-14 | 2020-02-28 | 深圳惠通天下信息技术有限公司 | 一种具有人脸识别功能的自助售水机 |
CN213781100U (zh) * | 2020-05-14 | 2021-07-23 | 青岛海纳云科技控股有限公司 | 储物柜 |
CN111626201A (zh) * | 2020-05-26 | 2020-09-04 | 创新奇智(西安)科技有限公司 | 商品检测方法、装置及可读存储介质 |
CN111815852A (zh) * | 2020-07-07 | 2020-10-23 | 武汉马克到家科技有限公司 | 一种用于开门自取式售货柜的图像和重力双模自动商品识别系统 |
CN113114895A (zh) * | 2021-04-13 | 2021-07-13 | 合肥美的智能科技有限公司 | 货柜的控制方法、货柜和可读存储介质 |
CN113538780A (zh) * | 2021-08-06 | 2021-10-22 | 南京宝坚电子科技有限公司 | 一种通过称重传感器识别货品的装置及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108875664B (zh) | 选购商品的识别方法、装置以及售货机 | |
US20230017398A1 (en) | Contextually aware customer item entry for autonomous shopping applications | |
US20220198550A1 (en) | System and methods for customer action verification in a shopping cart and point of sales | |
CN108460908A (zh) | 自动售货方法和系统以及自动售货装置和自动贩售机 | |
KR101994205B1 (ko) | 스마트 쇼핑 카트 및 이를 이용한 쇼핑 관리 시스템 | |
KR20190072562A (ko) | 주문 정보 결정 방법 및 장치 | |
CN109726759B (zh) | 无人售货方法、装置、系统、电子设备及计算机可读介质 | |
JP4991440B2 (ja) | 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム | |
US20140063256A1 (en) | Queue group leader identification | |
CN105184975A (zh) | 自动售货机管理系统和管理方法 | |
JP5731766B2 (ja) | 販売機会損失の分析システム及び分析方法 | |
JP7264401B2 (ja) | 会計方法、装置及びシステム | |
WO2014013649A1 (ja) | 電子機器および方法 | |
CN107103502A (zh) | 一种订单信息确定方法和装置 | |
JP7225434B2 (ja) | 情報処理システム | |
US11941604B2 (en) | Automatic payment system | |
JPWO2019123714A1 (ja) | 情報処理装置、商品推薦方法、およびプログラム | |
CN107945392B (zh) | 自动售货机及采集证据的方法以及存储介质 | |
CN111507792A (zh) | 一种自助购物方法、计算机可读存储介质及系统 | |
JP2023504871A (ja) | 不正検出システムおよび方法 | |
CN111507702A (zh) | 无人超市自助购物方法、计算机可读存储介质及系统 | |
CN114333146A (zh) | 一种展示柜、展示柜信息采集方法及存储介质 | |
JP2016219065A (ja) | 滞留分析システム及び方法 | |
JP2015133131A (ja) | 販売機会損失分析用データ出力システム及び方法 | |
JP6773102B2 (ja) | 情報処理装置及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220412 |