CN113112681A - 售货设备、出货检测方法及装置 - Google Patents

Abstract

本申请关于一种售货设备、出货检测方法及装置。所述售货设备包括存储腔体、传输通道、出货仓、音频拾取装置和处理器，所述传输通道连接所述存储腔体和所述出货仓，用于将所述存储腔体内的物体传输至所述出货仓；所述存储腔体用于存储物体，所述出货仓用于放置待取出的物体；所述音频拾取装置设置于所述出货仓中，用于拾取第一时间段内的音频数据；所述处理器与所述音频拾取装置电性连接，用于识别所述音频数据中是否包含物体进入出货仓所产生的声音信号；以及若确定存在所述声音信号，则确定在所述第一时间段内所述出货仓存在物体掉落事件。基于此，可以更加准确地确定售货设备是否出货成功，对于维护用户、商家的利益具有十分重要的意义。

Description

售货设备、出货检测方法及装置

技术领域

本申请涉及售货设备管理技术领域，尤其涉及一种售货设备、出货检测方法及装置。

背景技术

自助售货设备是商业自动化的常用设备，又被称为24小时营业的微型超市，其工作方式可以不受时间、地点的限制，节省人力、方便交易，是一种具有发展前景的商业零售形式。目前的自助售货设备主要包括饮料自助售货设备、食品自助售货设备、综合自助售货设备等等，给人们带来较大的便利。

自助售货设备的出货检测是售货设备运行流程中的重要环节。出货检测是在售货设备出货过程中检测是否出货成功的环节。目前，相关技术中采用红外线检测的方式进行出货检测，具体的做法是将红外线检测装置设置于出货仓，当有物体进入出货仓之后，该红外检测装置能够检测到物体，并确定出货成功。但是红外线检测装置往往容易受到热源以及射频辐射的干扰，且容易老化，这会导致通过红外检测装置获取的出货状态可能是不准确的，比如已经出货但是未检测到。诸如此类的情况可能进一步导致售货设备的出货数据与订单数据之间的不匹配，给商家造成较大的麻烦。

因此，相关技术中亟需一种能够准确地确定售货设备出货状态的方式。

发明内容

为克服相关技术中存在的问题，本申请提供售货设备、出货检测方法及装置，具体的实现方式如下：

一种售货设备，包括存储腔体、传输通道、出货仓、音频拾取装置和处理器，其中，

所述传输通道连接所述存储腔体和所述出货仓，用于将所述存储腔体内的物体传输至所述出货仓；

所述存储腔体用于存储物体，所述出货仓用于放置待取出的物体；

所述音频拾取装置设置于所述出货仓中，用于拾取第一时间段内的音频数据；

所述处理器与所述音频拾取装置电性连接，用于识别所述音频数据中是否包含物体进入出货仓所产生的声音信号；以及若确定存在所述声音信号，则确定在所述第一时间段内所述出货仓存在物体掉落事件。

一种出货检测方法，所述方法包括：

获取第一时间段内售货设备的出货仓的音频数据；

识别所述音频数据中是否包含物体进入出货仓所产生的声音信号；

若存在所述声音信号，则确定在所述第一时间段内所述出货仓中存在物体掉落事件。

一种出货检测装置，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现所述的出货检测方法。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得处理器能够执行上述的方法。

本申请提供的售货设备、出货检测方法及装置，可以通过拾取到的出货仓内的音频数据识别出货仓内是否存在物体掉落事件。相对于相关技术中利用红外线进行出货检测的方式而言，本申请各个实施例提供的出货检测方法可以免受热源或者射频辐射的干扰，能够准确地获取到出货仓的音频数据。另外，音频拾取装置的成本比其他检测装置的成本要低很多，灵敏程度也高很多。通过以上的出货检测方式，可以更加准确地确定售货设备是否出货成功，对于维护用户、商家的利益具有十分重要的意义。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种售货设备100的结构示意图。

图2是根据一示例性实施例示出的一种应用场景流程示意图。

图3是根据一示例性实施例示出的一种应用场景示意图。

图4是根据一示例性实施例示出的一种应用场景示意图。

图5是根据一示例性实施例示出的一种应用场景示意图。

图6是根据一示例性实施例示出的一种应用场景示意图。

图7是根据一示例性实施例示出的一种出货检测方法流程示意图。

图8是根据一示例性实施例示出的一种出货检测装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

为了方便本领域技术人员理解本申请实施例提供的技术方案，下面先对技术方案实现的技术环境进行说明。

在实际的应用场景中，需要对售货设备100进行出货检测，出货检测对于统计售货设备100产品销量、产品余量中的关键环节，另外，出货检测与用户的利益息息相关。在一个示例性的场景中，用户小王在化妆品售货设备100上支付300多元购买一款护肤品，售货设备100通过本地或网络收取了支付款项却没有出货，但售货设备100告知小王交易已完成。发生此类情况，有一个原因由于售货设备100在出货检测过程中发生故障，没有检测到售货设备100未完成出货。这样，售货设备100在收取小王300多元的情况下，却未给小王提供护肤品。而且，售货设备100一般都是自助服务，用户难以很快地获取售后服务。因此，售货设备100出货检测的准确程度直接影响到用户的利益，当然，在出货数量超出用户所选择物体的数量时也会影响到商家的利益。

基于类似于上文所述的实际技术需求，本申请提供的售货设备100出货检测方法可以通过声音识别的方式确定售货设备100是否出货成功，使得出货检测的出货检测免受热源或者射频辐射的干扰。

图1是本申请提供的售货设备100的一种示例性的结构图，如图1所示，所述售货设备100可以包括存储腔体102、传输通道104、出货仓106、音频拾取装置108和处理器110(图中未示出)，其中，

所述传输通道104连接所述存储腔体102和所述出货仓106，用于将所述存储腔体102内的物体传输至所述出货仓106；

所述存储腔体102用于存储物体，所述出货仓106用于放置待取出的物体；

所述音频拾取装置108设置于所述出货仓106中，用于拾取第一时间段内的音频数据；

所述处理器110与所述音频拾取装置108电性连接，用于识别所述音频数据中是否包含物体进入出货仓106所产生的声音信号；以及若确定存在所述声音信号，则确定在所述第一时间段内所述出货仓106存在物体掉落事件。

本申请实施例中的所述售货设备100可以包括用于自助售卖商品的设备，所售卖的商品可以包括饮料、食品、药品、玩具、化妆品、服饰、生活用品等任何具有使用价值并能够在市场上交易的商品。所述售货设备100可以设置于街道、电影院、医院、住宅区、地铁站、火车站等多种应用场所。用户可以通过投币、扫码、刷卡、线上到线下(Online To Offline，O2O)等自助支付方式从所述售货设备100中购买商品。

所述售货设备100可以包括存储腔体102。在一个实施例中，所述售货设备往往用于售卖多种类型的商品。因此，所述存储腔体102中可以包括多个子腔体，用于放置不同种类的物体，所述子腔体可以包括货层中的货道。在一个示例中，所述存储腔体102中可以包括多个货层，所述货层中还可以包括多个货道，所述货道可以用于放置同一种物体或者同一类物体。根据货道的结构特征，所述售货设备100可以包括蛇形货道售货设备、弹簧货道售货设备、履带货道售货设备、格子货道售货设备等等。

所述售货设备100还可以包括出货仓106，出货仓106可以用于暂时放置待取出的物体。如图1所示，出货仓106可以设置于售货设备100的下部，当然，还可以设置于售货设备100中任何方便用户提取物体的位置，本申请在此不做限制。所述传输通道104连接所述存储腔体102和所述出货仓106，用于将所述存储腔体102内的物体传输至所述出货仓106。在一个示例中，所述传输通道104可以包括从所述存储腔体102到所述出货仓106之间的物理空间。

需要说明的是，对于不同结构的售货设备，可以具有不同的存储腔体结构和传输通道结构。例如，对于弹簧货道售货设备，存储腔体102中可以设置有多个弹簧式的货道，即可以将物体放置于弹簧的螺距空档里。出货时，弹簧旋转使得所包围的物体掉落至出货仓106内。在其他实施例中，所述存储腔体102还可以使用蛇形货道、履带货道、格子货道等等，不同结构类型的货道当然对应于不同的出货方式，本申请对于货道的结构类型不做限制。

所述音频拾取装置108设置于所述出货仓106中，用于拾取第一时间段内的音频数据。在一个实施例中，所述第一时间段可以包括从出货开始时刻至出货结束时刻之间的时间段。所述出货开始时刻可以包括售货设备100接收到出货请求的时刻。所述出货结束时刻可以包括售货设备100确定出货仓106存在物体掉落事件的时刻。当然，在其他实施例中，所述第一时间段还可以包括从出货开始时刻开始后的固定时间段，所述固定时间段例如为5秒、6秒、8秒等等。当然，还可以根据出货物体的数量设置所述固定时间段，例如，出货一个物体为5秒，两个物体为8秒、三个物体为10秒等等。在另一个实施例中，也可以根据物体距离出货仓106远近的不同设置所述固定时间段，如将远一点的物体传输到出货仓106需要较多的时间，设置的固定时间段也需要久一点，反之，将近一点的物体传输到出货仓106需要较少的时间，设置的固定时间段也需要短一点。

在实际应用中，物体被传输至出货仓106的过程中，往往会发出较大的声音。因此，将音频拾取装置108安装于出货仓106中，可以近距离地采集到物体进入到出货仓106时发出的声音信号。在一个实施例中，如图1所示，可以将音频拾取装置108安装于出货仓106的顶部，不仅可以大面积地采集到出货仓106中的声音信号，还可以不影响到物体进入出货仓106中。在其他实施例中，还可以将音频拾取装置108安装于所述售货设备100内部的任何位置处，如储货腔体内、传输通道中或者正对着出货仓106的任何位置。另外，在其他实施例中，音频拾取装置108不仅可以包括单个麦克风，还可以由多个麦克风组成的麦克风阵列，以减少获取的音频数据中的环境背景噪音或者降低出货仓106的内部混响，使得获取的音频数据更加清晰，识别效果更好。

所述处理器110与所述音频拾取装置108电性连接，用于识别所述音频数据中是否包含物体进入出货仓106所产生的声音信号；以及若确定存在所述声音信号，则确定在所述第一时间段内所述出货仓106存在物体掉落事件。在实际应用中，物体进入到出货仓中所产生的声音信号可以包括多种，具体可以包括下述中的至少一种：物体撞击所产生的信号、物体掉落所产生的信号、物体碰擦所产生的信号。基于此，所述处理器110可以识别出所述音频信号中是否包括上述中的任何一种声音信号，从而确定在所述第一时间段内所述出货仓106存在物体掉落事件。为了能够在出货仓106中产生较好的声音效果，出货仓106至少部分的内壁被设置为声音传播速度大于预设速度阈值的介质，所述介质例如可以包括金属、木头等等。在一个示例中，可以将出货仓106的侧壁和底部设置为金属材质，这样，物体在进入到出货仓106的过程中可以产生声响较大的声音。在其他实施例中，所述出货仓106的至少部分内部设置为中空结构，以产生扩音效果，在此不做限制。

本申请的另一个实施例中，售货设备100还可以包括信号放大器，所述信号放大器与音频拾取装置108电性连接，用于放大音频拾取装置108所拾取的音频数据。通过对所述音频数据的放大，可以提高对物体进入出货仓106所产生的声音信号识别的准确性。当然，在其他实施例中，所述售货设备100还可以包括下述至少一种功能装置：投币口、刷卡器、扫码装置、显示屏、按键、安全锁、广告屏等等，本申请对于售货设备100的功能装置不做限制。

需要说明的是，有关处理器110具体如何处理的方式可以参考下述关于出货检测方法的描述，在此不再赘述。

下面通过具体的应用场景说明本申请各个实施例提供的出货检测方法。图2是本申请提供的一个具体的应用场景的实施流程图。在某住宅区设置有用于自助购买药品的售药机，所述售药机可以设置有出货仓106，所述出货仓106用于供用户提取药品。所述出货仓106还可以设置有与外界隔离的挡板，在出货检测期间，所述挡板处于关闭状态或者锁定状态，用户无法获取到出货仓106内的药品。在检测在所述第一时间段内出货仓106内存在药品掉落事件的情况下，所述挡板可以自动打开或者解除锁定状态，供用户取出腔体内的药品。图3展示了所述出货仓106在出货之前、出货之后等各个状态下的外观图。

用户小明在使用该售药机的过程中，可以首先选取所需的药品，如在所述售药机的按键面板上点击该药品对应的按钮，所述按钮可以包括实体按钮或者触摸屏上的虚拟按键等。以扫描支付的情况举例，售药机在接收到小明的选择操作之后，可以显示支付二维码或者打开扫码装置等，并提示小明进行扫码支付。小明在完成扫码支付后，所述售药机可以触发生成出货请求。如图2和图3所示，响应于所述出货请求，所述售药机中的音频拾取装置108可以开始录制出货仓106内的音频数据。然后，所述售药机可以开始出货，在音频拾取装置108一边拾取出货仓106中音频数据的过程中，处理器110可以一边识别所述音频数据中是否包含物体进入出货仓106所产生的声音信号。若确定存在所述声音信号，则可以确定在所述出货仓106存在物体掉落事件。当然，在其他是实施例中，还可以在拾取完成音频数据之后，再识别所述音频数据，基于此，可以设置在拾取音频数据的时刻开始之后第一时间段后停止拾取，并将完整的音频数据发送至处理器110，由处理器110识别所述音频数据。处理器110中可以包括声音检测模型组件，用于检测所述音频数据，具体有关所述声音检测模型组件的实施例可以参考有关出货检测方法的实施例，在此不再赘述。

图4是物体被传输至出货仓106时的状态图，如图4所示，物体触碰到出货仓106底部发出声音信号，安装于出货仓106中的麦克风可以拾取到该声音信号，这样，音频拾取装置108在拾音阶段所拾取的音频数据中可以包含所述声音信号。

在另一个应用场景中，本申请技术方案还可以应用于如图5所示的售货设备中，所述售货设备100可以用于售卖包括饮料、食品、烟酒、药品、玩具、化妆品、服饰、生活用品等任何具有使用价值并能够在市场上交易的物品。在实际应用中，药物的药盒基本都是较小长方体的纸盒，但是售货设备售卖的货物大小、形状、材质等各不相同，大到毛绒玩具，小到口红。因此，售货设备的出仓口的尺寸、位置等的设置与所述售药机的不相同。另外，考虑到售货设备中的物体落入出货仓106时所产生的声音信号不相同，可以训练得到多种声音检测模型组件，以适应不同种类的售货设备或者不同种类的物体。

在本申请的一个实例中，还可以提供具有多个出货仓106的机器。图6是一个示例性的售药机的外观图，如图6所示，所述售药机可以具有多个出货仓106。在一个示例中，可以设置每一种药品对应于一个出货仓106，这样，可以大大降低传输出来错误的药品的可能性。基于此，可以在各个出货仓106设置一个音频拾取装置，或者，每一排或每一列设置一个音频拾取装置，或者，设置一个全局的音频拾取装置，以拾取各个出货仓音频信号，本申请对于音频拾取装置的数量和位置不做限制。当然，多个出货仓的设置方案的应用不限于售药机，可以应用于任何售货设备中。

在本申请的一个实施例中，还可以在售货设备100中设置摄像装置和红外传感装置，所述摄像装置用于捕捉在所述第一时间段内出货仓106的图像，所述红外传感装置用于检测所述第一时间段内出货仓106的信号。基于此，在所述第一时间段内同时满足下述三个条件的情况下，可以确定在所述第一时间段内出货仓106中存在物体掉落事件：

音频拾取装置108拾取的音频数据中包含物体进入出货仓所产生的声音信号；

所述摄像装置捕捉的图像中包括物体掉落的图像；

所述红外传感装置检测的信号中包括物体掉落的红外传感信号。

通过多重检测的方式，可以进一步加强售货设备出货检测的准确性。

当然，在其他实施例中，出货检测还可以包括音频检测与图像检测、红外传感检测、重力检测等其他检测方式中的任意一种或者多种方式的组合，本申请在此不做限制。

下面结合附图对本申请所述的出货检测方法进行详细的说明。图7是本申请提供的出货检测方法的一种实施例的方法流程示意图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际中的出货检测过程中或者装置执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

具体的，本申请提供的出货检测方法的一种实施例如图7所示，所述方法可以包括：

S701：获取第一时间段内售货设备的出货仓的音频数据。

S703：识别所述音频数据中是否包含物体进入出货仓所产生的声音信号。

S705：若存在所述声音信号，则确定在所述第一时间段内所述出货仓中存在物体掉落事件。

本申请实施例中，可以获取到售货设备在第一时间段内出货仓的音频数据。所述出货仓可以包括售货设备中用于暂时放置出货物体的腔体。在本申请的一个实施例中，在售货设备未完成出货检测的情况下，用户是无法取到所述出货仓中的物体。在一个示例中，所述出货仓可以设置有与外界隔离的挡板，在出货成功，也就是确定所述出货仓中存在物体掉落事件的情况下，所述挡板可以自动打开或者解除锁定状态，供用户取出腔体内的物体。当然，在其他实施例中，对于不同结构的售货设备，其出货仓的设计不相同，如没有挡板，或者，所述挡板不具有关闭或者锁定的功能，所属领域技术人员在本申请技术精髓的启示下，还可能做出其它变更，但只要其实现的功能和效果与本申请相同或相似，均应涵盖于本申请保护范围内。需要说明的是，关于所述第一时间段的定义可以参考上述实施例，在此不再赘述。

本申请实施例中，在获取到所述音频数据之后，可以识别所述音频数据中是否包含物体出货时所产生的声音信号。在一个实施例中，可以利用声音检测模型组件检测所述音频信号，具体地，可以将所述音频数据输入至声音检测模型组件，经所述声音检测模型组件输出所述音频数据中是否包含物体进入出货仓所产生的声音信号。其中，所述声音检测模型组件可以包括对多个音频数据样本进行机器学习得到的模型组件。

在一个实施例中，所述声音检测模型组件可以包括特征提取子组件和声音识别子组件，所述特征提取子组件用于提取所述音频数据中的声音特征信息，所述声音识别子组件用于识别所述声音特征信息中是否包含物体出货时所产生的声音特征信息。在本实施例中，将所述声音检测模型组件划分成特征提取子组件和声音识别子组件，即可以将出货声音检测的过程划分成特征提取和声音识别两个阶段，这样不仅可以提高出货声音检测效率，还可以提高出货声音检测的准确性。当然，在其他实施例中，还可以将所述特征提取子组件作为一个独立的模型组件，并与所述声音检测模型组件进行耦接，其训练过程可以与所述声音检测模型组件的训练过程相互独立。

在本申请的一个实施例中，所述声音检测模型组件可以被设置为按照下述方式训练得到：获取售货设备在多种状态下的音频数据样本，所述音频数据样本中包括物体进入出货仓时所发出的声音信号。构建声音检测模型组件，所述声音检测模型组件中设置有训练参数。分别将所述音频数据样本输入至所述声音检测模型组件中，生成预测结果。基于所述预测结果与所述音频数据样本中所标注的检测结果之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。

在上述实施例中，所述音频数据样本可以包括在售货设备中现场录制的音频数据，其中包括物体进入出货仓时所发出的声音信号。在获取到录制的音频数据之后，可以标注所述音频数据的检测结果，所述检测结果可以包括出货成功或者出货不成功，标注检测结果之后的音频数据即形成所述音频数据样本。

在实际应用中，售货设备出货的环境比较复杂，比如周围环境可能存在各种噪音。设置于火车站内的售货设备，周围往往有较多的行人说话声、车站广播声等。设置于马路边的售货设备，周围往往有车辆行驶的声音、行人走路声、说话声等等。基于此，可以在所述音频数据样本中增加外部噪音，以适应实际的使用环境。在其他实施例中，还可以对获取的音频数据进行预处理之后再输入至所述声音检测模型组件，那么，在学习所述音频数据样本之前也需要对所述音频数据样本进行预处理，预处理的方式可以包括噪音滤除、主分量分析、音频白化处理等等。需要说明的是，增加外部噪音和预处理均可以针对出货成功状态和出货失败状态的音频数据样本，以增强所述声音检测模型组件的泛化能力。

为进一步地增强所述泛化能力，还可以获取在非出货状态下的音频数据样本，比如用户使用售货设备但是还未完成支付时所发出的声音、售货设备遭到撞击(如有人恶意破坏)所发出的声音。基于这样的一些应用场景，售货设备通过麦克风不仅可以检测出货的成功和失败，还可以检测一些非出货状态时的事件，并实施这些事件的应对措施，例如检测到售货设备遭到破坏时，可以发出警报或者向后台发出通知消息等等。

需要说明的是，学习所述音频数据样本的机器学习方式可以包括K近邻算法、感知机算法、决策树、支持向量机、逻辑斯底回归、最大熵等，相应的，生成的模型如朴素贝叶斯、隐马尔科夫等。当然，在其他实施例中，所述机器学习还可以包括深度学习，所述深度学习方式可以包括卷积神经网络、循环神经网络等等，本申请在此不做限制。另外，所述声音检测模型组件可以作为一个独立的模块安装于售货设备中，并与售货设备的主控板相耦接。基于此，所述声音检测模型组件可以用于对已有的售货设备进行改造，使得已有的售货设备具有利用声音进行出货检测的能力。

在实际应用场景中，售货设备单次出货的数量可以不少于两个，主要根据售货设备中物体的余量出货。在出货数量不少于两个的情况下，售货设备不仅可以识别所述音频数据中是否包含物体出货时所产生的声音信号，还可以检测发生所述声音信号的次数。在确定所述音频数据中包含物体出货时所产生的声音信号，并且发生所述声音信号的次数等于出货数量的情况下，确定所述售货设备出货成功。需要说明的是，可以在训练所述声音检测模型组件的过程中，获取到出货数量为两个、三个、四个、……、N个的音频数据样本。当然，还可以分别训练针对不同出货数量的声音检测模型组件，以适应不同的使用需求。

在实际应用环境下，不同种类的物体传输至出货仓时所发出的声音不同，如一瓶可乐比一盒棉签传输至出货仓所发出的声音要大得多。基于此，可以针对不同种类的售货设备分别设置不同的声音检测模型组件。例如，针对饮料售货设备训练一个声音检测模型组件，针对售药机训练一个声音检测模型组件，针对零食售货设备训练一个声音检测模型组件。通过针对不同种类的售货设备分别设置不同的声音检测模型组件，可以提升对不同种类物体出货检测的识别准确度。

需要说明的是，本申请各个实施例所述的声音检测模型组件，可以设置于售货设备中。在其他实施例中，所述声音检测模型组件还可以设置于与所述售货设备耦接的外部设备中，所述外部设备可以具有兼容性和通用性，这样，可以利用该外部设备对现有的售货设备进行改造，在不影响其原有结构的情况下，使其具有基于声音的出货检测功能。所述售货设备与所述外部设备耦接的方式可以包括有线连接、无线连接等方式，在此不做限制。在其他实施例中，所述声音检测模型组件还可以设置于云服务器中，这样，售货设备在获取到出货仓中的音频信号之后，可以将音频数据发送至云端，由云服务器识别所述音频数据中是否包含物体进入出货仓所发出的声音。云端服务器具有计算速度快、更新快等特征，可以快速准确地处理所述音频数据。另外，本申请对于所述声音检测模型组件设置的位置不做限制。

本申请实施例中，在确定所述音频数据中包含物体出货时所产生的声音信号的情况下，可以确定所述售货设备中发生物体进入事件，即售货设备出货成功。在其他实施例中，可以将本申请各个实施例提供的出货检测方法与其他出货检测方法联合检测。相关技术中的售货设备大部分基于电磁波的出货检测，如基于红外线或者紫外线的出货检测，还有些售货设备可以基于重力传感器进行出货检测。在本申请实施例中，可以在确定所述电磁波检测到有物体出货以及存在物体出货的声音信号的情况下，确定所述售货设备出货成功。在另一个实施例中，可以在确定所述重力传感器检测到有物体出货以及存在物体出货的声音信号的情况下，确定所述售货设备出货成功。当然，还可以在确定所述电磁波或者所述重力传感器或者麦克风任意一种设备检测到物体出货的情况下，确定所述售货设备出货成功。

在本申请的一个实施例中，在确定所述出货仓不存在物体掉落事件的情况下，可以发送故障提醒的通知消息。在此情况下，可以包括未出货或者出货错误等情况，可以发送通知消息至售货设备的相关工作人员，如补货人员、库存管理人员等。所述通知消息的放松方式可以包括短信、客户端内消息等等，本申请在此不做限制。通过所述通知消息，可以使得补货员或者库存管理人员等及时发现问题，并作出相应的调整措施，如尽快调整售货设备中物体的货位。

在另一个实施例中，还可以通过感测所述出货仓底部的重力确定是否出货结束。在一个示例中，可以在所述出货仓的底部设置重力传感器，用于感测所述出货仓底部的重力。在物体掉落至所述出货仓之后，所述出货仓的底部感测到的重力会发生较大的变化，因此，可以设置当所述出货仓底部的重力变化大于预设阈值时，生成所述出货结束的通知消息。当然，在其他实施例中，还可以通过其他方式确定发出通知消息的时刻，本申请在此不做限制。

本申请提供的出货检测方法，可以通过拾取到的出货仓内的音频数据识别出货仓内是否存在物体掉落事件。相对于相关技术中利用红外线进行出货检测的方式而言，本申请各个实施例提供的出货检测方法可以免受热源或者射频辐射的干扰，能够准确地获取到出货仓的音频数据。另外，音频拾取装置的成本比其他检测装置的成本要低很多，灵敏程度也高很多。通过以上的出货检测方式，可以更加准确地确定售货设备是否出货成功，对于维护用户、商家的利益具有十分重要的意义。

对应于上述售货设备出货检测方法，如图8所示，本申请还提供一种出货检测装置，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时可以实现所述的出货检测方法。

本申请另一方面还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述任一实施例所述方法的步骤。

所述计算机可读存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。本实施例所述的计算机可读存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的物体来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序物体。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序物体的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序物体的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序物体。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序物体的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (25)

1.一种售货设备，其特征在于，包括存储腔体、传输通道、出货仓、音频拾取装置和处理器，其中，

所述传输通道连接所述存储腔体和所述出货仓，用于将所述存储腔体内的物体传输至所述出货仓；

所述存储腔体用于存储物体，所述出货仓用于放置待取出的物体；

所述音频拾取装置设置于所述出货仓中，用于拾取第一时间段内的音频数据；

所述处理器与所述音频拾取装置电性连接，用于识别所述音频数据中是否包含物体进入出货仓所产生的声音信号；以及若确定存在所述声音信号，则确定在所述第一时间段内所述出货仓存在物体掉落事件。

2.根据权利要求1所述的售货设备，其特征在于，所述物体进入出货仓所产生的声音信号包括下述中的至少一种：物体撞击所产生的信号、物体掉落所产生的信号、物体碰擦所产生的信号。

3.根据权利要求1所述的售货设备，其特征在于，所述售货设备还包括信号放大器，所述信号放大器与所述音频拾取装置电性连接，用于放大所述音频拾取装置所拾取的音频数据。

4.根据权利要求1所述的售货设备，其特征在于，所述出货仓至少部分的内壁被设置为声音传播速度大于预设速度阈值的介质。

5.根据权利要求1所述的售货设备，其特征在于，所述处理器还用于：

接收出货请求；

响应于所述出货请求，发送开始拾取音频数据的指令至所述音频拾取装置；

在确定存在物体掉落事件的情况下，发送停止拾取音频数据的指令至所述音频拾取装置。

6.根据权利要求1所述的售货设备，其特征在于，所述处理器包括声音检测模型组件，用于检测所述音频数据中是否包含物体进入出货仓所产生的声音信号。

7.根据权利要求1所述的售货设备，其特征在于，所述处理器包括多个声音检测模型组件，基于此，所述处理器还用于：

从所述多个声音检测模型组件中确定出与售货设备种类或者物体类型相匹配的目标声音检测模型组件；

利用所述目标声音检测模型组件检测所述音频数据中是否包含物体进入出货仓所产生的声音信号。

8.根据权利要求6或7所述的售货设备，其特征在于，所述声音检测模型组件包括特征提取子组件和声音识别子组件，所述特征提取子组件用于提取所述音频数据中的声音特征信息，所述声音识别子组件用于识别所述声音特征信息中是否包含物体进入出货仓所产生的声音特征信息。

9.根据权利要求6或7所述的售货设备，其特征在于，所述声音检测模型组件被设置为按照下述方式训练得到：

获取售货设备的多个音频数据样本，所述音频数据样本中包括物体进入出货仓时所发出的声音信号；

构建声音检测模型组件，所述声音检测模型组件中设置有训练参数；

分别将所述音频数据样本输入至所述声音检测模型组件中，生成预测结果；

基于所述预测结果与所述音频数据样本中所标注的检测结果之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。

10.根据权利要求9所述的售货设备，其特征在于，所述音频数据样本还包括下述中的至少一种：添加外部背景噪音的音频数据、经过预处理后的音频数据、在非出货状态下拾取的音频数据。

11.根据权利要求1所述的售货设备，其特征在于，所述处理器还用于：

在确定需要不少于两个物体进入出货仓的情况下，识别所述音频数据中是否包含物体进入出货仓所产生的声音信号以及产生所述声音信号的次数。

12.根据权利要求1所述的售货设备，其特征在于，所述处理器还用于：

在确定存在所述声音信号的情况下，获取所述售货设备基于电磁波的出货检测结果；

在确定所述电磁波检测到有物体进入出货仓的情况下，确定在所述第一时间段内所述出货仓存在物体掉落事件。

13.根据权利要求1所述的售货设备，其特征在于，所述处理器还用于：

在确定存在所述声音信号的情况下，获取所述售货设备基于重力传感器的出货检测结果；

在确定所述重力传感器检测到有物体进入出货仓的情况下，确定在所述第一时间段内所述出货仓存在物体掉落事件。

14.一种出货检测方法，其特征在于，所述方法包括：

获取第一时间段内售货设备的出货仓的音频数据；

识别所述音频数据中是否包含物体进入出货仓所产生的声音信号；

若存在所述声音信号，则确定在所述第一时间段内所述出货仓中存在物体掉落事件。

15.根据权利要求14所述的方法，其特征在于，所述获取第一时间段内售货设备的出货仓的音频数据，包括：

接收出货请求；

响应于所述出货请求，发送开始拾取音频数据的指令至所述音频拾取装置；

在确定存在物体掉落事件的情况下，发送停止拾取音频数据的指令至所述音频拾取装置。

16.根据权利要求14所述的方法，其特征在于，所述识别所述音频数据中是否包含物体进入出货仓所产生的声音信号，包括：

利用声音检测模型组件检测所述音频数据中是否包含物体进入出货仓所产生的声音信号。

17.根据权利要求14所述的方法，其特征在于，所述识别所述音频数据中是否包含物体进入出货仓所产生的声音信号，包括：

从多个声音检测模型组件中确定出与售货设备种类或者物体类型相匹配的目标声音检测模型组件；

利用所述目标声音检测模型组件检测所述音频数据中是否包含物体进入出货仓所产生的声音信号。

18.根据权利要求16或17所述的方法，其特征在于，所述声音检测模型组件包括特征提取子组件和声音识别子组件，所述特征提取子组件用于提取所述音频数据中的声音特征信息，所述声音识别子组件用于识别所述声音特征信息中是否包含物体进入出货仓所产生的声音特征信息。

19.根据权利要求16或17所述的方法，其特征在于，所述声音检测模型组件被设置为按照下述方式训练得到：

获取售货设备的多个音频数据样本，所述音频数据样本中包括物体进入出货仓时所发出的声音信号；

构建声音检测模型组件，所述声音检测模型组件中设置有训练参数；

分别将所述音频数据样本输入至所述声音检测模型组件中，生成预测结果；

基于所述预测结果与所述音频数据样本中所标注的检测结果之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。

20.根据权利要求19所述的方法，其特征在于，所述音频数据样本还包括下述中的至少一种：添加外部背景噪音的音频数据、经过预处理后的音频数据、在非出货状态下拾取的音频数据。

21.根据权利要求14所述的方法，其特征在于，所述识别所述音频数据中是否包含物体进入出货仓所产生的声音信号，包括：

在确定需要不少于两个物体进入出货仓的情况下，识别所述音频数据中是否包含物体进入出货仓所产生的声音信号以及产生所述声音信号的次数。

22.根据权利要求14所述的方法，其特征在于，所述若存在所述声音信号，则确定在所述第一时间段内所述出货仓中存在物体掉落事件，包括：

在确定存在所述声音信号的情况下，获取所述售货设备基于电磁波的出货检测结果；

在确定所述电磁波检测到有物体进入出货仓的情况下，确定在所述第一时间段内所述出货仓存在物体掉落事件。

23.根据权利要求14所述的方法，其特征在于，所述若存在所述声音信号，则确定在所述第一时间段内所述出货仓中存在物体掉落事件，包括：

在确定存在所述声音信号的情况下，获取所述售货设备基于重力传感器的出货检测结果；

在确定所述重力传感器检测到有物体进入出货仓的情况下，确定在所述第一时间段内所述出货仓存在物体掉落事件。

24.一种出货检测装置，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求14-23任意一项所述的出货检测方法。

25.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由处理器执行时，使得处理器能够执行权利要求14-23任意一项所述的出货检测方法。

Images