CN108877040A - 开放式无人货柜的自动监控方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种开放式无人货柜的自动监控方法、装置、电子设备及计算机可读存储介质，该方法包括：获取对应多个货道的第一图像数据；识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息；基于在先数据和每个货道中的所述相对位置信息，确定商品数量发生变化的货道及该货道商品数量的变化量；根据各个货道商品数量的变化量、对应商品信息及用户信息完成商品交易。本申请实施例的技术方案仅依靠低分辨率、低帧率的图像传感器以及低运算能力的处理器就能完成无人货柜的商品状态的监控，并完成自动支付，在大幅提升用户体验的同时可有效降低软硬件成本。

Description

开放式无人货柜的自动监控方法、装置、电子设备及计算机可 读存储介质

技术领域

本申请涉及智能零售终端领域，特别涉及一种开放式无人货柜的自动监控方法、装置、电子设备及计算机可读存储介质。

背景技术

传统的无人货柜采取封闭式的结构，用户在支付前不能接触商品，支付后由内部的机械装置将商品推送到取货口。这种无人货柜，或称为自动贩卖机，因其结构简单、成本低廉，已经在各种公共场所有了广泛的应用。但这种传统的无人货柜用户无法观察挑选商品，支付后的验货、出货、取货等步骤机器故障导致交易失败的风险完全由用户承担，用户体验不佳。

随着人工智能技术的发展，越来越多的传统行业正在使用智能的方法来提升效率和用户体验，现有技术中也出现了用户体验更舒适的开放式无人货柜。这种开放式无人货柜允许消费者只需要打开柜门，抓取并带走想要的商品，货柜就能自动完成支付。现有的开放式无人货柜由商家承担验证交易的风险，一般使用基于人工智能的图像处理技术完成对消费行为的监控，保证取走的商品完成了对应的支付。目前存在的一些技术包括，在柜门处或柜门附近安装一个或多个图像传感器，通过对柜门的以及商品区域进行监控和识别来判定柜门的开关状态；进一步，通过对柜门处消费者的动作进行监控来识别消费者行为，例如通过对消费者的手势进行识别，从而判断消费者是否取走了一件商品；进一步，通过对消费者手部关联的图像进行识别，判断消费者取走了哪件商品。

但是，发明人在实现本申请的过程中发现，现有的开放式无人货柜的监控压力较大而效果并不理想。比如，安装在柜门处的图像传感器可能由于角度的问题使得在手部遮挡商品的时候产生误判，无法识别被取走的商品。又或者，图像传感器的帧率有限，在速度极快的情况下也可能造成误判。此外，对柜门、人手和商品等复杂物体的识别需要非常高的计算复杂度，同时由于实时性的需求，识别模块无法安装在云端，因此每个无人货柜都需要安装高性能运算模块，例如GPU模块，这意味着产品的成本激增。

发明内容

有鉴于此，本申请的主要目的在于提供一种开放式无人货柜的自动监控方法、装置、电子设备及计算机可读存储介质，以在大幅提升用户体验的同时有效降低软硬件成本。

为达到上述目的，本申请的技术方案是这样实现的：

在本申请实施例的一个方面，提供了一种开放式无人货柜的自动监控方法，所述方法包括：

获取对应多个货道的第一图像数据；

识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息；

基于在先数据和每个货道中的所述相对位置信息，确定商品数量发生变化的货道及该货道商品数量的变化量；

根据各个货道商品数量的变化量、对应商品信息及用户信息完成商品交易。

在一些实施例中，所述在先数据包括：预设数据、前次结算数据和在先获取的第二图像数据中的至少一种。

在一些实施例中，所述方法还包括：

进入配置模式，所述配置模式下每个货道中包括至少一个商品；

根据对应多个货道的第三图像数据和/或用户输入信息，获得每个货道中商品与图像传感器的相对位置在图像数据中的映射关系，以及获得每个货道中的对应商品信息。

在一些实施例中，所述识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息包括：

识别所述最后一个商品到所述图像传感器的直线距离；

获取所述货道与所述图像传感器轴向的夹角；

根据所述直线距离和所述夹角计算所述最后一个商品到图像传感器平面的垂直距离。

在一些实施例中，所述识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息包括：

获取所述货道上设置的参考标识的图像数据；

基于所述参考标识的图像数据获得所述相对位置信息。

在一些实施例中，所述方法还包括：

周期性地和/或根据所述开放式无人货柜的开关门状态触发所述图像数据的获取。

在一些实施例中，所述开关门状态包括：

根据用户扫码或在客户端操作的结果开启货柜门，并获取所述用户信息；

根据至少一个传感器的识别结果确认所述货柜门关闭。

在本申请实施例的另一个方面，还提供了一种开放式无人货柜的自动监控装置，包括：

至少一个图像传感器，用于获取对应多个货道的第一图像数据；

图像识别模块，用于识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息；

交易计数模块，用于基于在先数据和每个货道中的所述相对位置信息，确定商品数量发生变化的货道及该货道商品数量的变化量；

结算模块，用于根据各个货道商品数量的变化量、对应商品信息及用户信息完成商品交易。

在一些实施例中，所述装置还包括：

配置模块，用于使所述装置进入配置模式，所述配置模式下每个货道中包括至少一个商品；

第一信息获取模块，用于根据对应多个货道的第三图像数据和/或用户输入信息，获得每个货道中商品与图像传感器的相对位置在图像数据中的映射关系，以及获得每个货道中的对应商品信息。

在一些实施例中，所述图像识别模块包括：

直线距离识别模块，用于识别所述最后一个商品到所述图像传感器的直线距离；

第二信息获取模块，用于获取所述货道与所述图像传感器轴向的夹角；

计算模块，用于根据所述直线距离和所述夹角计算所述最后一个商品到图像传感器平面的垂直距离。

在一些实施例中，所述装置中：

所述至少一个图像传感器还用于获取所述货道上设置的参考标识的图像数据；

所述图像识别模块包括第三信息获取模块，用于基于所述参考标识的图像数据获得所述相对位置信息。

在一些实施例中，所述装置还包括：

触发模块，用于周期性地和/或根据所述开放式无人货柜的开关门状态触发所述图像数据的获取。

在一些实施例中，所述装置还包括：

开门控制模块，用于根据用户扫码或在客户端操作的结果开启货柜门，并获取所述用户信息；

关门状态确认模块，用于根据至少一个传感器的识别结果确认所述货柜门关闭。

在一些实施例中，所述装置还包括：

异常警告模块，用于识别异常状态并发出相应警告。

在一些实施例中，所述装置还包括：

通信模块，用于与远程服务器通信，以使所述远程服务完成所述图像识别模块、所述交易计数模块和所述交易模块中至少一个模块的功能。

在本申请实施例的再一个方面，还提供了一种电子设备，包括：

存储器以及一个或多个处理器；

其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如前所述的方法。

在本申请实施例的又一个方面，还提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前所述的方法。

本申请实施例提出了一种开放式无人货柜的自动监控方法、装置、电子设备及计算机可读存储介质，其技术方案仅依靠低分辨率、低帧率的图像传感器以及低运算能力的处理器就能完成无人货柜的商品状态的监控，并完成自动支付，在大幅提升用户体验的同时可有效降低软硬件成本。

附图说明

图1为本申请一个实施例中开放式无人货柜的典型结构示意图；

图2为本申请一个实施例中开放式无人货柜中图像传感器的典型设置方式示意图；

图3为本申请一个实施例中开放式无人货柜的自动监控方法的流程示意图；

图4为本申请一个实施例中图像识别距离数据的场景示意图；

图5为本申请一个实施例中通过参考标识辅助图像识别的场景示意图；

图6为本申请一个实施例中开放式无人货柜的自动监控装置的模块结构示意图。

具体实施方式

在下面的详细描述中，通过示例阐述了本申请的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本申请显而易见的可以在没有这些细节的情况下实施。应当理解的是，本申请中使用“系统”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。

应当理解的是，当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时，其可以直接在另一设备、单元或模块上，连接或耦合到或与其他设备、单元或模块通信，或者可以存在中间设备、单元或模块，除非上下文明确提示例外情形。例如，本申请所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。

本申请所用术语仅为了描述特定实施例，而非限制本申请范围。如本申请说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。

参看下面的说明以及附图，本申请的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本申请的保护范围。可以理解的是，附图并非按比例绘制。

本申请中使用了多种结构图用来说明根据本申请的实施例的各种变形。应当理解的是，前面或下面的结构并不是用来限定本申请。本申请的保护范围以权利要求为准。

现有的无人货柜要么把全部风险放在用户侧，用户体验差；要么是商家为了规避风险需选用高端图像识别方案，其计算复杂度高、产品成本高。为解决现有技术的缺陷，在提升用户体验的同时，以较低的成本实现可靠的无人货柜的交易监控、核算，本申请的一个实施例中提供了一种开放式无人货柜，如图1所示，其包括：至少一个柜体102和可开关的柜门101，以及在柜体内设置的多个货道103；其中，柜体102与柜门101可以是一一对应设置，也可以是一对多或多对一的设置，在此不做限制；多个货道103通常分层设置，每层也由多个相互平行的货道103组成。此外，每个货道103呈一定倾斜角度设置，使得摆放在货道103之上的商品可以在重力的作用下自动滑到货柜的最前端。在本申请的实施例中，进一步如图2所示，可选地，在柜体后部101a，安装有至少一个图像传感器201，所述图像传感器201拍摄包含多个货道的货道组(通常为设置在同一层的多个货道)的空间；多个图像传感器201拍摄多个货道组，并与一个识别模块202相连，以用来识别各个货道中的相对位置信息(比如到图像传感器201的距离d1、d2、d3等)。

采用图1、2所示的开放式无人货柜，在本申请的实施例中，用户可以打开货柜，自由地抓取并带走任何想要的商品，由于商品的售出不依赖于机械装置实现对未售出商品的保护、对交易的确认和出货等，因此无人货柜没有复杂的机械装置且大幅提升了用户体验。此外，由于全程基于低成本图像传感器捕捉图像、通过极简的图像识别方法实现交易的核算和验证，也有效降低了软硬件成本。

具体地，如图3所示，在本申请的一个实施例中，开放式无人货柜的自动监控方法包括步骤：

S1，获取对应多个货道的第一图像数据。

在本申请的实施例中，可使用低分辨率、低帧率的图像传感器实现高可靠性的无人售货交易的监控与结算；即本申请实施例的图像传感器并不仅限于可连续录制影像的摄像头，任何可单次和/或连续采集图像的设备均可用于本申请，故本申请实施例的方案可有效控制产品的硬件成本。此外，相对于现有的需要精确对准单个货道监控的设备，或是需要设置在特定位置同时拍摄到商品和用户的设备来说，本申请实施例使用低成本的图像传感器一方面具备可同时对多个货道监控的能力，进一步降低了产品硬件成本；另一方面对布设位置并无严格要求，具有极强的灵活性。

优选地，在本申请的实施例中，根据所述开放式无人货柜的开关门状态启动所述图像数据的获取。开关门状态可以根据设置在柜门处的传感器数据确定，其中，传感器可以是距离感应传感器、接触式传感器或机械开关等，在此不做限制。更优选地，在本申请的实施例中，可以在无人货柜上设置与货柜对应的二维码，用户扫码以开启柜门；又或者可以用户登录客户端(典型地如移动应用等)，选中无人货柜操作开启柜门。在用户扫码或登录的同时，可以获取到当前用户的用户信息，从而为交易的结算支付做准备。

S2，识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息。

在本申请的实施例中，相对于现有技术的图像识别来说，最大的优势在于仅利用少量距离(相对位置)数据即可完成对商品的计数，无需做较复杂和高精度的图像识别。一方面，本申请实施例只使用单帧的静态图像即可完成识别监控，避免了动态视频监控识别的实时性要求；另一方面，本申请实施例只需要识别出图像中少量距离数据，无需对物体的个体边界做精确的区分和识别，也无需识别具体的物体属性(比如商品的具体品牌型号等)，降低了计算复杂度；因而在软硬件成本方面较现有技术均有巨大的优势。

S3，基于在先数据和每个货道中的所述相对位置信息，确定商品数量发生变化的货道及该货道商品数量的变化量。

在本申请的实施例中，在先数据可以是预设数据、前次结算数据和在先获取的第二图像数据中的至少一种。其中，预设数据通常为配置无人货柜时录入的数据；前次结算数据指该货柜最后一次结算后的数据；在先获取的第二图像数据指用户开启柜门之前获取的图像数据，典型地可以是最后一次结算后到用户打开柜门前这段时间内任意时刻拍摄的图像。

相应地，使用预设数据或前次结算数据时的比对相对简单，直接根据识别的商品数据进行比较和计算即可。使用在先获取的第二图像数据时，可以根据两个图像数据中识别的商品数量的差异进行比较和计算；也可以先比较两个图像数据中图像的差异，从而确定发生变化的货道，然后仅针对发生变化的货道识别图像数据中商品数量的差异。在本申请的实施例中，通过确定商品数量的差异(即确定变化量)就可以实现对交易商品的监控、核实和计数。

S4，根据各个货道商品数量的变化量、对应商品信息及用户信息完成商品交易。

其中，根据对应商品信息可以确定商品的单价，根据用户信息可以确定付款账户或用户已投币金额等，因而在实现对交易商品的计数之后，本申请的实施例进一步可实现自动结算，从而自动完成整个商品交易过程。

本申请实施例提出了一种使用低成本图像传感器的开放式无人货柜的自动监控方法，所提出的货柜仅依靠低分辨率、低帧率的图像传感器以及低运算能力的处理器就能完成无人货柜的商品状态的监控，并完成自动支付。

在图2给出的示例中，图像传感器设置在货柜的后部，也就是与柜门相对位置的柜体内部安装有多个图像传感器，其中每个图像传感器被设置为可同时拍摄到一个货道组(图2中为设置在同一层的三个货道)的图像信息。由于图像传感器与不同货道的相对位置不同，各个货道的商品在图像传感器中的成像也拥有不同的角度。比如图2中所展示的，中间的货道与图像传感器垂直，而两侧的货道均与图像传感器的轴向方向呈一定角度。在货道装载商品后，图像传感器由事件状态触发(比如开关门状态)或周期性地采集图像信息；根据采集的图像信息，对不同货道对应的商品图像进行简单识别，比如提取对应货道中商品的特征信息，典型地，可以是提取图像中商品和货道的边缘信息；进一步，根据商品和货道的边缘信息、图像传感器与货道之间的角度信息等，计算商品与图像传感器之间的相对位置信息。

通常情况下，图像识别技术是无法直接从商品和货道的边缘信息中提取到商品到图像传感器的绝对距离信息，因为使用二维的图像解算三维数据有较多的限定条件且算法复杂。在本申请的实施例中，可采用多种手段来辅助计算，比如，典型地，可以根据预先获得的商品信息(如尺寸信息等)、货道信息、一些相对位置在图像数据中的映射关系或识别参考标识的图像信息等来辅助计算，从而简化物体在三维方向上的实际尺寸的识别算法的复杂度。

图4给出了一种示例性的利用商品信息来辅助计算所述垂直距离的实施方式。其中，D1为最后一件商品到图像传感器平面的垂直距离，d1为最后一件商品到图像传感器的直线距离，L为单个商品在货道方向上的长度，W为货道方向上商品的总长度，这些数据均无法从图像数据中直接提取出。在本申请的一个优选实施例中，利用商品信息(比如L在图像数据中的映射关系等)，根据d1方向上单个商品图像与d1图像的比例可算出d1，进而根据d1与D1的夹角(即传感器识别方向与货道方向的夹角)可计算得到D1。获知D1后，在一种可选的实施方式中，同样地，根据在该方向上图像间的比例，就可以计算出该货道中的商品数量。

在本申请的另一种实施方式中，还可通过参考标识的设置来辅助计算所述相对位置信息。如图5所示，在货道上设置有参考标识，例如货道边缘印刷成黑色的第一参考标识501，而货道底部的滑道印刷成与黑色具有较高对比度的白色的第二参考标识502。基于该参考标识，空载的货道在图像传感器中的成像(图5A-C中右部的图形)将呈现出具有特定模式的图像，例如图5A所示的，货道将呈现出两条黑色线段夹着一条白色色带的模式(为了便于理解，白色光带使用平行四边形标识)；进一步，如图5B和图5C所示，当货道装载商品后，黑色线段501和白色光带502被商品遮挡，因此将造成上述特定模式的图像的模式改变。由于特定模式的改变与货道最后部的商品相关，因此可以仅通过该图像模式的改变得到货道最后商品与图像传感器的相对位置信息(比如商品到传感器平面的垂直距离、或者商品在不同位置时传感器中成像大小等)。在图5所示的实施例中，如果货道不同，即货道与图像传感器之间的夹角不同，则产生的成像也具有不同的模式；但由于其成像模式有规律可循，故优选地，还可使用机器学习的方式，将成像模式的改变与所述相对位置信息(比如前述垂直距离等)相关，因此可以在检测到图像模式的改变后，直接得到商品成像所表示的在特定方向上的长度/距离情况，从而实现对商品数量计数的计算。在本申请实施例中进一步避免了对商品的复杂图形进行识别，而仅对商品和货道产生的组合图像中的特定模式进行识别，并且利用机器学习的非线性关联性，自动得到货道与传感器之间的夹角带来的距离计算映射关系，因此在保证准确度的情况下大大降低了计算复杂度。

在本申请的一个实施例中，根据货道最后商品与传感器的相对位置信息来实现对交易商品的计数。除图4所示的根据商品长度L的比例关系计算出货道上的商品数量外，在本申请的一个优选实施例中，还可根据货道中的最后一个商品到图像传感器平面的垂直距离的变化量来确定交易商品的情况。其中，典型地，根据交易前后的两个图像数据中的差异(比如图像发生变化或所述垂直距离发生变化的货道)来确定商品数量发生变化的货道，随后根据交易前后该货道的所述垂直距离的变化量和单个商品在货道方向上的长度来计算商品数量的变化量。当然，在其他可选的实施例中，直接根据前次结算后的商品数量(可以是该货道商品总量减去历次交易量后的数字)和当前图像数据中计算出的商品数量来确定商品数量的变化量也是可行的，故本申请的实施例并不对商品数量的变化量(即交易商品数)的具体计算方式做出限制。

进一步地，为了充分降低图像识别算法的计算压力，本申请实施例中还包含配置模式，通过配置模式可以快速完成不同货道的商品信息的获取；从而根据配置模式获取的数据，可以自动生成对不同商品相对应的计数方式。

在一种可选的实施方式中，在配置模式下，无人货柜可以通过图像传感器获取至少一个商品的图像信息，或者是接收用户的输入信息。配置模式下，无人货柜对商品的图像信息进行处理和提取，得到用于工作模式下的参数，并将该参数与具体货道相关联。其中，用户的输入信息包括但不限于货道信息及各个货道的对应商品信息，比如商品的尺寸信息、商品的价格信息、商品在图像中的映射情况或图像识别的标注信息等。也就是说，通过自动识别和/或用户输入，配置模式下可获得计算货道上商品数量的必要参数。在一种可选的实施方式中，为了在配置模式下获得准确的商品尺寸信息，可通过采集与图像传感器按固定距离和角度设置下的商品图像来完成。所述配置模式下的图像处理、参数提取、货道关联可以在无人货柜本地完成，也可以通过通信网络在远程服务器完成并将配置数据发送给相关的无人货柜。在无人货柜进入工作模式之后，也可以在本地或远程地根据配置的参数完成商品的计数。

其中，由于不同的商品尺寸相差较大，而该尺寸差异会影响图像识别时对图像尺寸的计算，因此如果货道上的商品发生改变而配置参数没有对应的改变时，极易出现计数错误。如果需要在每一次计数时都对商品进行一次完整的图像识别，则无人货柜需要安装高性能的计算单元或传输大量的图像数据(这是现有技术软硬件成本高的主要原因)。而本申请的实施例通过使用配置模式，商品的图像信息只在配置模式下被执行完整的处理并提取对应的参数，而工作模式下仅对图像进行简单的处理，例如边缘提取，并根据与货道关联的参数就可以快速实现商品计数；同时，配置模式无需预定义货道和某种商品的绑定关系，允许运营单位动态的调整货道上的商品，而无需复杂的参数设置。故本申请的实施例能够通过配置模式，能够快速配置货柜所要贩卖的商品类别，自适应地应对快速的商品类别更新需求，同时也不需要额外的复杂的机械装置、高性能的计算单元和高精度图像传感器，成本大大低于现存的开放式无人货柜。

此外，在本申请的可选实施方式中，如图2所示，无人货柜前部101b也可安装图像传感器201。通过对前部图像传感器与后部图像传感器使用相同图像识别方法，能够识别货道最前端商品的距离信息。当货道正常工作时，最前端商品始终处于相同的位置，当消费者取走一件商品后，货道在重力或机械的作用下始终保持最前端存在一件商品，除非整个货道被清空。因此，可以根据前部图像传感器的数据判断货道是否存在异常，例如货道商品被卡住或货道被清空等情况。

进一步地，还可根据后部图像传感器和/或前部图像传感器以及其他传感器和控制信号，综合对无人货柜的商品进行监控。当发现异常时，例如商品计数发生改变而柜门没有被打开时，发出商品丢失警告；再例如，当柜门被识别为开关一次之后，但根据后部图像传感器计算的计数没有发生改变而根据前部图像传感器发现商品距离改变时，可以识别货道被卡住并发出对应的警告；又或者，当前部或后部图像传感器无法识别对应商品的边缘时，发出货道被清空的警告。

如图6所示，本申请实施例还提供了一种开放式无人货柜的自动监控装置，包括：

至少一个图像传感器601，用于获取对应多个货道的第一图像数据；

图像识别模块602，用于识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息；

交易计数模块603，用于基于在先数据和每个货道中的所述相对位置信息，确定商品数量发生变化的货道及该货道商品数量的变化量；

结算模块604，用于根据各个货道商品数量的变化量、对应商品信息及用户信息完成商品交易。

在一些实施例中，所述装置还包括：

配置模块，用于使所述装置进入配置模式，所述配置模式下每个货道中包括至少一个商品；

第一信息获取模块，用于根据对应多个货道的第三图像数据和/或用户输入信息，获得每个货道中商品与图像传感器的相对位置在图像数据中的映射关系，以及获得每个货道中的所述对应商品信息。

在一些实施例中，所述图像识别模块包括：

直线距离识别模块，用于识别所述最后一个商品到所述图像传感器的直线距离；

第二信息获取模块，用于获取所述货道与所述图像传感器轴向的夹角；

计算模块，用于根据所述直线距离和所述夹角计算所述最后一个商品到图像传感器平面的垂直距离。

在一些实施例中，所述装置中：

所述至少一个图像传感器还用于获取所述货道上设置的参考标识的图像数据；

所述图像识别模块包括第三信息获取模块，用于基于所述参考标识的图像数据获得所述相对位置信息。

在一些实施例中，所述装置还包括：触发模块，用于周期性地和/或根据所述开放式无人货柜的开关门状态触发所述图像数据的获取。

在一些实施例中，所述装置还包括：

开门控制模块，用于根据用户扫码或在客户端操作的结果开启货柜门，并获取所述用户信息；

关门状态确认模块，用于根据至少一个传感器的识别结果确认所述货柜门关闭。

在一些实施例中，所述装置还包括：异常警告模块，用于识别异常状态并发出相应警告。

在一种实施方式中，所述无人柜还包括通信模块，通信模块通过有线或无线的方式与一个远程服务器相连。上述计算过程，例如图像识别、商品计数、控制开关柜门、计价和支付、可以被远程服务器实现，无人柜的控制模块仅负责将数据采集并发送到服务器并接收服务器发送的反馈信息。亦即在一些实施例中，所述装置还包括：通信模块，用于与远程服务器通信，以使所述远程服务完成所述图像识别模块、所述交易计数模块和所述交易模块中至少一个模块的功能。

在本申请实施例的再一个方面，还提供了一种电子设备，包括：

存储器以及一个或多个处理器；

其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如前所述的方法。

在本申请实施例的又一个方面，还提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前所述的方法。

综上可见，基于本申请实施例所提供的技术方案，无人货柜所需要的图像传感器对精度、帧率、分辨率等要求非常低，这是由于无人货柜只需要提取商品的部分特征就可以根据计算距离的方法完成商品计数，而不需要对整个柜门处复杂的人货行为进行识别。这种方法的实现得益于将货柜前端的复杂图像处理任务转化为货柜后端简单的图像识别任务，因此能够在既允许消费者使用开放式货柜的消费方法，同时也回避了对消费者多变的行为图像进行识别的需求。进一步，通过配置模式和工作模式，使得对商品的复杂图像识别任务仅发生一次，因此可以通过在云端安装一个高性能处理器就能满足大量无人货柜的动态商品管理需求。因此，每一台无人货柜既不需要封闭式设计，也不需要昂贵的图像传感器和处理单元，因此与现有产品相比拥有巨大的成本优势。

以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

Claims (17)

1.一种开放式无人货柜的自动监控方法，其特征在于，所述方法包括：

获取对应多个货道的第一图像数据；

识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息；

基于在先数据和每个货道中的所述相对位置信息，确定商品数量发生变化的货道及该货道商品数量的变化量；

根据各个货道商品数量的变化量、对应商品信息及用户信息完成商品交易。

2.根据权利要求1所述的方法，其特征在于，所述在先数据包括：预设数据、前次结算数据和在先获取的第二图像数据中的至少一种。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

进入配置模式，所述配置模式下每个货道中包括至少一个商品；

根据对应多个货道的第三图像数据和/或用户输入信息，获得每个货道中商品与图像传感器的相对位置在图像数据中的映射关系，以及获得每个货道中的对应商品信息。

4.根据权利要求1所述的方法，其特征在于，所述识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息包括：

识别所述最后一个商品到所述图像传感器的直线距离；

获取所述货道与所述图像传感器轴向的夹角；

根据所述直线距离和所述夹角计算所述最后一个商品到图像传感器平面的垂直距离。

5.根据权利要求1或4所述的方法，其特征在于，所述识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息包括：

获取所述货道上设置的参考标识的图像数据；

基于所述参考标识的图像数据获得所述相对位置信息。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

周期性地和/或根据所述开放式无人货柜的开关门状态触发所述图像数据的获取。

7.根据权利要求6所述的方法，其特征在于，所述开关门状态包括：

根据用户扫码或在客户端操作的结果开启货柜门，并获取所述用户信息；

根据至少一个传感器的识别结果确认所述货柜门关闭。

8.一种开放式无人货柜的自动监控装置，其特征在于，包括：

至少一个图像传感器，用于获取对应多个货道的第一图像数据；

图像识别模块，用于识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息；

交易计数模块，用于基于在先数据和每个货道中的所述相对位置信息，确定商品数量发生变化的货道及该货道商品数量的变化量；

结算模块，用于根据各个货道商品数量的变化量、对应商品信息及用户信息完成商品交易。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

配置模块，用于使所述装置进入配置模式，所述配置模式下每个货道中包括至少一个商品；

第一信息获取模块，用于根据对应多个货道的第三图像数据和/或用户输入信息，获得每个货道中商品与图像传感器的相对位置在图像数据中的映射关系，以及获得每个货道中的对应商品信息。

10.根据权利要求8所述的装置，其特征在于，所述图像识别模块包括：

直线距离识别模块，用于识别所述最后一个商品到所述图像传感器的直线距离；

第二信息获取模块，用于获取所述货道与所述图像传感器轴向的夹角；

计算模块，用于根据所述直线距离和所述夹角计算所述最后一个商品到图像传感器平面的垂直距离。

11.根据权利要求8或10所述的装置，其特征在于，所述装置中：

所述至少一个图像传感器还用于获取所述货道上设置的参考标识的图像数据；

所述图像识别模块包括第三信息获取模块，用于基于所述参考标识的图像数据获得所述相对位置信息。

12.根据权利要求8所述的装置，其特征在于，所述装置还包括：

触发模块，用于周期性地和/或根据所述开放式无人货柜的开关门状态触发所述图像数据的获取。

13.根据权利要求12所述的装置，其特征在于，所述装置还包括：

开门控制模块，用于根据用户扫码或在客户端操作的结果开启货柜门，并获取所述用户信息；

关门状态确认模块，用于根据至少一个传感器的识别结果确认所述货柜门关闭。

14.根据权利要求8所述的装置，其特征在于，所述装置还包括：

异常警告模块，用于识别异常状态并发出相应警告。

15.根据权利要求8所述的装置，其特征在于，所述装置还包括：

通信模块，用于与远程服务器通信，以使所述远程服务完成所述图像识别模块、所述交易计数模块和所述交易模块中至少一个模块的功能。

16.一种电子设备，其特征在于，包括：

存储器以及一个或多个处理器；

其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如权利要求1-7任一项所述的方法。

17.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如权利要求1-7任一项所述的方法。