CN109785503A - 一种无人货柜售卖物品的检测方法、检测装置及检测系统 - Google Patents

Abstract

本发明涉及无人零售领域，提供了一种无人货柜售卖物品的检测方法，包括以下步骤，步骤S1：入侵系统检测入侵信息；步骤S2：入侵系统检测到侵信息后，物品总量感知系统计算获得物品变量信息，并根据物品变量信息确定无人货柜中物品是否有售出；及步骤S3：有物品售出后，物品特征感知系统计算获得售出物品的物品图像特征，并根据所述物品图像特征确定售出物品详情。本发明还提供一种无人货柜售卖物品的检测装置。本发明还提供一种无人货柜售卖物品的检测系统。

Description

一种无人货柜售卖物品的检测方法、检测装置及检测系统

【技术领域】

本发明涉及无人零售领域，提供了一种无人货柜售卖物品的检测方法、检测装置及检测系统。

【背景技术】

现有的无人商店都是在一些封闭区域内监控里面的物品情况，常用的技术手段有机器视觉识别、RFID识别等，这种手段在一些恶意操作或者复杂场景下的可靠性较低，如恶意的视觉遮挡、撕掉标签等行为可能会直接导致结果错误。同时工程上可能为了增加准确性增加装置的成本以及计算力，导致费用过高的问题。

【发明内容】

为克服现有技术存在的问题，本发明提供一种无人货柜售卖物品的检测方法、检测装置及检测系统。

本发明解决技术问题的方案是提供一种无人货柜售卖物品的检测方法，该方法包括以下步骤，

步骤S1：入侵系统检测入侵信息；

步骤S2：入侵系统检测到入侵信息后，物品总量感知系统计算获得物品变量信息，并根据物品变量信息确定无人货柜中物品是否有售出；

步骤S3：有物品售出后，物品特征感知系统计算获得售出物品的物品图像特征，并根据所述物品图像特征确定售出物品详情；

优选地，入侵系统检测到入侵信息，并在入侵信息消失后进入步骤S2；步骤S2中所述物品变量信息包括物品的重量变化信息、数量变化信息、体积变化信息或入侵物体变化信息中的一种或多种。

优选地，物品变量信息是根据入侵系统检测到入侵信息之前的物品总量信息与入侵系统检测到该入侵信息消失后的物品总量信息进行运算获得；或物品变量信息是通过计算于入侵信息出现时至消失时这段时间内入侵物体的特征变化所获得；或物品变量信息是根据入侵系统检测到入侵信息后的设定时间内的物品总量信息与入侵系统检测到该入侵信息消失后的物品总量信息进行运算获得。

优选地，物品图像特征包括物品的形状特征和颜色特征中的一种或多种。

优选地，物品图像特征是根据入侵系统检测到入侵信息之前无人货柜中的物品图像特征与入侵系统检测到该入侵信息消失后无人货柜中的物品图像特征进行运算获得；或物品图像特征是根据入侵系统检测到入侵信息后的设定时间内的物品图像特征与入侵系统检测到该入侵信息消失后的物品图像特征进行运算获得。

优选地，所述物品详情包括物品的数量及ID信息。

优选地，所述物品总量感知系统计算获得物品变量信息，所述物品变量信息为物品的重量变化信息、数量变化信息、体积变化信息或入侵物体变化信息中的一种或多种；所述物品特征感知系统计算获得售出物品的物品图像特征，所述物品图像特征为物品的形状特征或颜色特征；结合物品变量信息和颜色特征判断售出物品详情。

优选地，所述物品总量感知系统包括重力传感器、压力感应器、电子秤或3D扫描仪或图像采集器中的一种或多种，所述物品特征感知系统包括图像采集器，所述入侵系统包括红外传感器、微波传感器或激光传感器其中的一种或多种，入侵系统还包括触发电路。

本发明还提供一种无人货柜售卖物品的检测装置，其用于安装于无人货柜，所述无人货柜售卖物品的检测装置包括入侵系统、物品总量感知系统及物品特征感知系统，入侵系统检测入侵信息；入侵系统检测到入侵信息后，物品总量感知系统计算获得物品变量信息，并根据物品变量信息确定无人货柜中物品是否有售出；有物品售出，物品特征感知系统计算获得售出物品的物品图像特征，并根据所述物品图像特征确定售出物品详情；

本发明还提供一种无人货柜售卖物品的检测系统，所述无人货柜售卖物品的检测系统包括无人货柜及上述的无人货柜售卖物品的检测方法。

与现有技术相比，本发明的无人货柜售卖物品的检测方法具有以下优点：

1.入侵系统检测到入侵信息，物品总量感知系统才开始计算，减少了物品总量感知系统和物品特征感知系统的计算量，同时还可以省电；

2.入侵系统检测到入侵信息消失后，物品总量感知系统才开始采集物品总量信息，物品特征感知系统才计算售出物品的物品图像特征，再次减少物品特征感知系统的计算量。

3.物品总量感知系统先计算物品总量信息，确定至少一个可能的物品变量信息，物品特征感知系统再计算物品图像特征，确定至少一个可能的物品图像特征，结合物品总量感知系统和物品特征感知系统的计算，得出售出物品的物品详情，保证无人货柜售卖物品的检测方法计算售出物品的正确率。

4.将无人货柜分为多层，每一层上设置物品总量感知系统和物品特征感知系统，其中一层物品总量信息发生变化时，只有该层的物品特征感知系统工作，以减少无人货柜售卖物品的检测计算量。

5.物品总量感知系统通过采集物品图像特征以获取的物品的体积信息时，物品特征感知系统可共用物品总量感知系统采集的物品图像特征，以减少一次物品总量感知系统采集物品图像特征的次数，增加了物品图像特征的利用率。

6.当无人货柜里的物品全都相同时，通过物品总量感知系统通过计算物品的重量变化信息，根据物品的重量变化信息，可确定售出物品的物品详情，即可在没有物品特征感知系统的情况下检测无人货柜中的物品售卖情况。

【附图说明】

图1是本发明无人货柜售卖物品的检测系统的模块示意图。

图2是本发明无人货柜售卖物品的检测方法中物品总量感知系统的计算流程图。

图3是本发明无人货柜售卖物品的检测方法中物品特征感知系统的计算流程图。

图4是本发明无人货柜售卖物品的检测方法步骤流程图。

附图标记说明：1、无人货柜售卖物品的检测系统；11、无人货柜售卖物品的检测装置；12、无人货柜；111、入侵系统；112、物品总量感知系统；113、物品特征感知系统。

【具体实施方式】

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，本发明第一实施例提供一种无人货柜售卖物品的检测系统1，其可自动检测出具体的售卖物品，以实现无人售货。无人货柜售卖物品的检测系统1包括无人货柜12及无人货柜售卖物品的检测装置11，无人货柜售卖物品的检测装置11安装于无人货柜12，以对无人货柜12中的售卖物品情况进行检测。

无人货柜12可以是任意可被打开的密闭空间，如冰箱或冰柜等。本实施例中以冰柜为例来进行示意说明，冰柜包括柜体和柜门，柜门相对于柜体可开合。柜门关闭时，柜体与柜门之间形成相对密闭的空间，待售出的物品存放于该密闭空间中。

请继续参阅图1，无人货柜售卖物品的检测装置11包括入侵系统111、物品总量感知系统112和物品特征感知系统113，入侵系统111以及物品总量感知系统112和物品特征感知系统113结合以确定无人货柜12是否有物品售出及售出的物品详情。

入侵系统111用于检测是否有入侵信息。入侵系统111包括红外传感器、微波传感器、激光传感器其中的一种或多种，优选地，入侵系统111还包括触发电路。以入侵系统111包括红外传感器为例，触发电路部分安装于柜体，部分安装于柜门，柜门与柜体闭合时，触发电路断开，红外传感器不工作；柜门打开时，触发电路接通，红外传感器开始工作，即检测是否有入侵信息，入侵物体进入密闭空间，红外传感器则检测为有入侵信息，入侵物体从密闭空间中出来，则入侵信息消失。

入侵物体对应为购物者的手或机器人的仿生手等可以拿取物品的操作体。本发明中以购物者的手为例来进行示意说明。柜门开启的动作可触发入侵系统111的触发电路，红外传感器开始检测是否有入侵信息，购物者把手伸进无人货柜，入侵系统111可检测到入侵信息。

物品总量感知系统112用于计算物品变量信息。物品总量感知系统112包括重力传感器、压力感应器、电子秤或3D扫描仪或图像采集器中的一种或多种，重力传感器、压力感应器、电子秤用于获取物品的重量信息，3D扫描仪或图像采集器通过采集物品图像特征以获取物品的数量和/或体积信息。购物者拿出货柜中的物品，物品的重量、数量及体积都会发生变化；物品总量感知系统112计算获得物品变量信息，并根据物品变量信息确定是否有物品售出。

请参阅图2，物品变量信息是根据入侵系统111检测到入侵信息之前的物品总量信息与入侵系统111检测到该入侵信息消失后的物品总量信息进行运算获得。即入侵系统111检测到入侵信息之前，物品总量感知系统112采集一次物品总量信息，入侵信息消失后，物品总量感知系统112再次采集一次物品总量信息，若前后两次采集的物品总量信息相同，通过计算物品变量信息，可确定没有物品售出，若前后两次采集的物品总量信息不同，通过计算物品变量信息，可确定有物品售出。作为一种实施例，针对判断前后两次采集的物品总量信息是否相同可以设置一阈值，当计算获得的物品变量信息超过所述阈值时，则认为有物品售出，反之，则认为没有物品售出。在其他实施例中，物品变量信息是通过计算于入侵信息出现时至消失时这段时间内入侵物体的特征变化所获得，如通过追踪算法捕捉手的图像特征以确认购买者的手是否将无人货柜12中的物品有取出。

作为一种变形，物品变量信息是根据入侵系统111检测到入侵信息后的设定时间内的物品总量信息与入侵系统111检测到该入侵信息消失后的物品总量信息进行运算获得。所述设定时间小于检测到入侵信息后至购买者的手触碰到物品前的时间。如此，可以保证采集到物品售出前无人货柜12中的物品形态。优选设定时间小于0.5s,即当检测到入侵信息的那一刻至购买者的手接触到物品时，其时长一般都大于0.5s。

物品特征感知系统113包括图像采集器，图像采集器可以是摄像头、手机或相机中的一种或多种，以获取物品的形状特征和/或颜色特征，通过计算可获得售出物品的物品图像特征。

请参阅图3，物品图像特征是入侵系统111检测到入侵信息之前的无人货柜中的物品图像特征与入侵系统111检测到该入侵信息消失后无人货柜中的物品图像特征进行比较并运算获得。即入侵系统111检测到入侵信息之前，物品特征感知系统113采集一次物品图像特征，入侵信息消失后，物品特征感知系统113再次采集一次物品图像特征，根据前后两次采集的物品图像特征，则可比较并计算获得售出物品的物品图像特征，并确定售出物品详情。

作为一种变形，物品图像特征是根据入侵系统111检测到入侵信息后的设定时间内的物品图像特征与入侵系统111检测到该入侵信息消失后的物品图像特征进行比较并运算获得。所述设定时间小于检测到入侵信息后至购买者的手触碰到物品前的时间。如此，可以保证采集到物品售出前无人货柜12中的物品形态。优选设定时间小于0.5s,即当检测到入侵信息的那一刻至购买者的手接触到物品时，其时长一般都大于0.5s。

优选地，所述物品图像特征为物品颜色特征，通过物品颜色特征可以分析获得物品的分类及名称等。本发明中以物品图像特征为物品颜色特征为例来进行说明。

物品详情包括物品的数量及ID信息，每件物品对应一个ID信息，根据ID信息可获得物品的价格，进而可获得购买者应付金额。作为一种实施例，无人货柜售卖物品的检测系统1可设置计价单元(图未视)，计价单元中存储有各物品ID信息以及其ID信息对应的物品价格信息，根据获得的物品详情，计价单元可计算获得售卖物品的总价格，以方便购买者支付相应金额。

作为一种实施例，在检测入侵信息前，物品总量感知系统112进行第一次物品总量信息的采集，如通过重力传感器测得物品的总重量；物品特征感知系统113进行第一次物品颜色特征的采集，如通过摄像头拍摄物品售出前无人货柜12中的物品形态。当购买者将手伸入冰柜中时，入侵系统111检测到入侵信息，购买者拿取物品后，手从冰柜中缩回，入侵信息消失，物品总量感知系统112才再次采集物品总量信息，并根据第一次采集的物品总量信息和第二次采集的物品总量信息进行计算获得物品变量信息，如根据物品变量信息确认无物品售出(如重量无变化)，物品特征感知系统113不进行接下来的数据采集。反之，根据物品变量信息确认有物品售出(如重量变化超过一阈值)，物品特征感知系统113进行第二次的物品颜色特征采集，并根据第一次和第二次物品颜色特征计算获得物品图像特征进而获得物品详情。

如无人货柜中售卖红茶、绿茶及紫色包装的方便面，购物者购买了红茶，物品总量感知系统112感知到重量发生了变化，物品特征感知系统113进行物品颜色特征采集，由于红茶、绿茶以及紫色包装方便面之间的主要差别在于颜色，则可以根据第一次和第二次采集的物品颜色特征分析出售出物品的颜色为绿色，进而确认售出物品为绿茶，还可以进一步根据物品图像特征分析出售出的数量。如若系统中物品ID信息为物品名称，则根据绿茶的名称即可查询到其价格，根据价格和数量即可计算获得购买者应付金额。

作为一种变形，物品变量信息和物品图像特征之间进行结合以获得物品详情。物品总量感知系统112根据物品变量信息确定至少一个可能的物品变量信息，物品特征感知系统113根据物品特征确定至少一个可能的物品图像特征，结合物品总量感知系统112和物品特征感知系统113的计算，确定售出物品的物品详情。如无人货柜中售卖红茶、绿茶及红色包装的方便面，物品总量感知系统112中预存有售出物品的单位重量，红茶和绿茶重量接近，方便面重量明显区别于红茶和绿茶。购物者购买了红茶，物品总量感知系统112感知到重量发生了变化，根据重量变化物品总量感知系统112确认其售出的可能是红茶或绿茶；物品特征感知系统113通过分析售出物品的颜色为红色，其可能是红茶和方便面，如此，综合物品总量感知系统112和物品特征感知系统113所计算出的物品详情可确认最优物品详情为红茶。

作为一种变形，物品总量感知系统112和物品特征感知系统113采集的数据共用，即物品总量感知系统112采集的物品总量信息和物品特征感知系统113采集的物品图像特征共用。如物品总量感知系统112和物品特征感知系统113均是基于图像特征分别获得物品变量信息和物品图像特征，那么两者的第一次数据采集可共用，即物品总量感知系统112第一次采集的物品总量信息即为物品特征感知系统113第一次采集的物品图像特征。

作为一种实施例，无人货柜12中的物品全部都相同，物品有售出后，通过物品总量感知系统112即可计算出物品的重量变化信息，根据物品的重量变化信息可确定售出物品的物品详情。

作为一种实施例，无人货柜12中物品摆放的有多层，每一层上设有物品总量感知系统112和物品特征感知系统113，其中一层物品总量信息发生变化时，只有该层的物品特征感知系统113工作，以减少无人货柜售卖物品的检测计算量。

请参阅图4，本发明第二实施例提供的无人货柜售卖物品的检测方法，其采用了第一实施例中所揭示的无人货柜售卖物品的检测系统1，所述方法包括以下步骤，

步骤S1：入侵系统工作；

步骤S2：判断入侵系统是否检测到入侵信息；如检测到则进入步骤S3；如没有检测到则返回步骤S1；

步骤S3：判断步骤S2中的入侵信息是否消失；如果消失则进入步骤S4，如果没有则等待入侵信息消失；

步骤S4：物品总量感知系统计算获得物品变量信息，并根据物品变量信息确定无人货柜中物品是否有售出；当有物品售出，则进入步骤S5，没有，则返回步骤S1；

步骤S5：物品特征感知系统计算获得售出物品的物品图像特征，并根据所述物品图像特征确定售出物品详情。

在步骤S4中，物品变量信息包括物品的重量变化信息、数量变化信息、体积变化信息或入侵物体变化信息中的一种或多种。

物品变量信息是根据入侵系统检测到入侵信息之前的物品总量信息与入侵系统检测到该入侵信息消失后的物品总量信息进行运算获得；或物品变量信息是通过计算于入侵信息出现时至消失时这段时间内入侵物体的特征变化所获得。

在步骤S5中，物品特图像征包括物品的形状特征和颜色特征中的一种或多种。

物品图像特征是根据入侵系统检测到入侵信息之前无人货柜中的物品图像特征与入侵系统检测到该入侵信息消失后无人货柜中的物品图像特征进行运算获得。

在步骤S5中，所述物品详情包括物品的数量及ID信息。

物品总量感知系统计算获得物品变量信息，物品变量信息为物品的重量变化信息、数量变化信息、体积变化信息或入侵物体变化信息中的一种或多种；物品特征感知系统计算获得售出物品的物品图像特征，物品图像特征为物品的形状特征或颜色特征；结合物品变量信息和颜色特征判断售出物品详情。

物品总量感知系统包括重力传感器、压力感应器、电子秤或3D扫描仪或图像采集器中的一种或多种，物品特征感知系统包括图像采集器，入侵系统包括红外传感器、微波传感器或激光传感器其中的一种或多种，入侵系统还包括触发电路。

第一实施例中的内容同样适用于本实施例。

与现有技术相比，本发明的无人货柜售卖物品的检测方法具有以下优点：

1.入侵系统检测到入侵信息，物品总量感知系统才开始计算，减少了物品总量感知系统和物品特征感知系统的计算量，同时还可以省电；

2.入侵系统检测到入侵信息消失后，物品总量感知系统才开始采集物品总量信息，物品特征感知系统才计算售出物品的物品图像特征，再次减少物品特征感知系统的计算量。

3.物品总量感知系统先计算物品总量信息，确定至少一个可能的物品变量信息，物品特征感知系统再计算物品图像特征，确定至少一个可能的物品图像特征，结合物品总量感知系统和物品特征感知系统的计算，得出售出物品的物品详情，保证无人货柜售卖物品的检测方法计算售出物品的正确率。

4.将无人货柜分为多层，每一层上设置物品总量感知系统和物品特征感知系统，其中一层物品总量信息发生变化时，只有该层的物品特征感知系统工作，以减少无人货柜售卖物品的检测计算量。

5.物品总量感知系统通过采集物品图像特征以获取的物品的体积信息时，物品特征感知系统可共用物品总量感知系统采集的物品图像特征，以减少一次物品总量感知系统采集物品图像特征的次数，增加了物品图像特征的利用率。

6.当无人货柜里的物品全都相同时，通过物品总量感知系统通过计算物品的重量变化信息，根据物品的重量变化信息，可确定售出物品的物品详情，即可在没有物品特征感知系统的情况下检测无人货柜中的物品售卖情况。

以上所述仅为本发明较佳实施例而已，并不用以限制本发明，凡在本发明原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (10)

1.一种无人货柜售卖物品的检测方法，其特征在于：该方法包括以下步骤，

步骤S1：入侵系统检测入侵信息；

步骤S2：入侵系统检测到入侵信息后，物品总量感知系统计算获得物品变量信息，并根据物品变量信息确定无人货柜中物品是否有售出；

步骤S3：有物品售出后，物品特征感知系统计算获得售出物品的物品图像特征，并根据所述物品图像特征确定售出物品详情。

2.如权利要求1所述的无人货柜售卖物品的检测方法，其特征在于：入侵系统检测到入侵信息，并在入侵信息消失后进入步骤S2；步骤S2中所述物品变量信息包括物品的重量变化信息、数量变化信息、体积变化信息或入侵物体变化信息中的一种或多种。

3.如权利要求1所述的无人货柜售卖物品的检测方法，其特征在于：物品变量信息是根据入侵系统检测到入侵信息之前的物品总量信息与入侵系统检测到该入侵信息消失后的物品总量信息进行运算获得；或物品变量信息是通过计算于入侵信息出现时至消失时这段时间内入侵物体的特征变化所获得；或物品变量信息是根据入侵系统检测到入侵信息后的设定时间内的物品总量信息与入侵系统检测到该入侵信息消失后的物品总量信息进行运算获得。

4.如权利要求1所述的无人货柜售卖物品的检测方法，其特征在于：物品图像特征包括物品的形状特征和颜色特征中的一种或多种。

5.如权利要求1所述的无人货柜售卖物品的检测方法，其特征在于：物品图像特征是根据入侵系统检测到入侵信息之前无人货柜中的物品图像特征与入侵系统检测到该入侵信息消失后无人货柜中的物品图像特征进行运算获得；或物品图像特征是根据入侵系统检测到入侵信息后的设定时间内的物品图像特征与入侵系统检测到该入侵信息消失后的物品图像特征进行运算获得。

6.如权利要求1所述的无人货柜售卖物品的检测方法，其特征在于：所述物品详情包括物品的数量及ID信息。

7.如权利要求1所述的无人货柜售卖物品的检测方法，其特征在于：所述物品总量感知系统计算获得物品变量信息，所述物品变量信息为物品的重量变化信息、数量变化信息、体积变化信息或入侵物体变化信息中的一种或多种；所述物品特征感知系统计算获得售出物品的物品图像特征，所述物品图像特征为物品的形状特征或颜色特征；结合物品变量信息和颜色特征判断售出物品详情。

8.如权利要求1所述的无人货柜售卖物品的检测方法，其特征在于：所述物品总量感知系统包括重力传感器、压力感应器、电子秤或3D扫描仪或图像采集器中的一种或多种，所述物品特征感知系统包括图像采集器，所述入侵系统包括红外传感器、微波传感器或激光传感器其中的一种或多种，入侵系统还包括触发电路。

9.一种无人货柜售卖物品的检测装置，其用于安装于无人货柜，其特征在于：所述无人货柜售卖物品的检测装置包括入侵系统、物品总量感知系统及物品特征感知系统，入侵系统检测入侵信息；入侵系统检测到入侵信息后，物品总量感知系统计算获得物品变量信息，并根据物品变量信息确定无人货柜中物品是否有售出；有物品售出，物品特征感知系统计算获得售出物品的物品图像特征，并根据所述物品图像特征确定售出物品详情。

10.一种无人货柜售卖物品的检测系统，其特征在于：所述无人货柜售卖物品的检测系统包括无人货柜及如权利要求1-8任一项所述的无人货柜售卖物品的检测方法。