CN118247884A - 智能货柜、智能货柜的交互控制方法和系统 - Google Patents

Abstract

本发明公开了一种智能货柜、智能货柜的交互控制方法和系统，涉及无人零售领域。该智能货柜包括：设于所述智能货柜柜体右上角的主控装置，所述主控装置设置有第一图像采集装置和第二图像采集装置，其中，第一图像采集装置通过滑动槽设置于所述主控装置中，第一图像采集装置在滑动槽中滑动从而可以调节与第二图像采集装置之间的距离；所述第一图像采集装置的采集范围为智能货柜柜体内外，所述第二图像采集装置的采集范围为智能柜体外。本发明基于上述智能货柜，还相应提供了智能货柜的交互控制方法和系统。本发明具有准确识别商品类别和数量并生成订单信息，减少人工干预，提升了用户购物体验。

Description

智能货柜、智能货柜的交互控制方法和系统

本发明是2023年11月9日提交、发明名称为“基于机器视觉的智能货柜交互控制方法、装置和系统”，申请号为202311483613.0的发明专利申请的分案申请。

技术领域

本发明涉及物联网技术领域，尤其涉及一种智能货柜、智能货柜的交互控制方法和系统。

背景技术

智能货柜是一种自助式销售系统，通过物联网、机器视觉技术等以更高效、便捷的方式提供商品和服务。智能货柜通常配备了摄像头、传感器、显示屏和连接互联网的能力，使其能够自动监控货物库存、实时传输数据、与用户互动，以及处理支付。智能货柜全天候可用，不受商店开放时间的限制，用户可以随时购买商品，无需等待，减少了排队时间，另外，智能货柜还可以自动库存监控和补货，减少了商品过期和浪费，通过分析销售数据，零售商可以更好地了解市场需求和用户偏好，以便做出更明智的上货决策。

智能货柜为用户带来了无数便利，但是在使用过程中往往存在一些问题：智能货柜的硬件组件如摄像头、电子锁等，可能会出现故障，导致交互中断或错误、摄像头图像采集缺陷导致无法准确识别商品类别或商品数量、数据传输延迟大导致交互过程长或购买失败等等，这些问题严重影响了用户体验。

发明内容

有鉴于此，本发明实施例提供了一种智能货柜、智能货柜的交互控制方法和系统，用以解决现有技术中无人零售货柜在图像采集上不准确，影响图像识别，从而导致用户体验不佳的技术问题。

第一方面，本发明实施例提供了一种智能货柜，所述智能货柜包括：设于所述智能货柜柜体右上角的主控装置，所述主控装置设置有第一图像采集装置和第二图像采集装置，其中，第一图像采集装置通过滑动槽设置于所述主控装置中，第一图像采集装置在滑动槽中滑动从而可以调节与第二图像采集装置之间的距离；所述第一图像采集装置的采集范围为智能货柜柜体内外，所述第二图像采集装置的采集范围为智能柜体外。

优选地，所述第一图像采集装置的视角方向与智能货柜柜门所在平面的在垂直方向上的夹角范围为55°至65°。

优选地，所述第二图像采集装置的视角方向与智能货柜柜门所在平面在水平方向上的夹角为55°至65°。

优选地，所述第二图像采集装置固定安装于智能货柜柜门右上角，根据第二图像采集装置的位置、采集角度和采集范围滑动调节第一图像采集装置的位置。

第二方面，本发明提供一种智能货柜的交互控制方法，所述交互控制方法包括：

控制所述智能货柜的第一图像采集装置和第二图像采集装置按预设时间采集得到第一连续图像；

当所述第一连续图像采集成功，控制所述智能货柜的电子锁执行开锁操作；

控制第一图像采集装置和第二图像采集装置开始采集第二连续图像直至接收到来自所述电子锁的闭锁信号；

将采集到的所述第二连续图像发送至所述服务器并驱动所述服务器向所述智能终端发送订单信息。

优选地，所述控制所述智能货柜的第一图像采集装置和第二图像采集装置按预设时间采集得到第一连续图像，包括：

控制所述第一图像采集装置和所述第二图像采集装置同时按预设时间采集第一子连续图像和第二子连续图像；

将所述第一子连续图像和所述第二子连续图像进行拼合得到所述第一连续图像。

优选地，所述控制第一图像采集装置和第二图像采集装置开始采集第二连续图像直至接收到来自所述电子锁的闭锁信号，包括：

提取所述第二连续图像中包括智能货柜柜门信息的帧图像，记为柜门图像；

根据所述柜门图像实时生成柜门状态信息，其中所述柜门状态信息至少包括柜门开启、柜门关闭中的一种；

当接收到所述闭锁信号时获取所述柜门状态信息；

若所述柜门状态信息为柜门关闭时则控制所述图像采集装置停止所述第二连续图像的采集。

优选地，所述控制第一图像采集装置和第二图像采集装置开始采集第二连续图像直至接收到来自所述电子锁的闭锁信号，包括：

控制所述第一图像采集装置和第二图像采集装置采集用户从开柜门到取出商品的运动轨迹；

根据运动轨迹确定用户取出的商品所在的商品区域；

对比用户取出商品前的所述商品区域的帧图像和用户取出商品后所述商品区域的帧图像，确定用户所取出的商品的信息。

优选地，控制所述图像采集装置采集第二连续图像还包括：

提取第一图像采集装置和第二图像采集装置初始采集的若干帧图像，即为初始帧图像；

获取初始帧图像的清晰度等级并判断该清晰度等级是否满足预设图像分析要求；

若否，根据所述清晰度等级和所述预设图像分析要求调整第一图像采集装置和第二图像采集装置的采集帧率；

重新获取调整采集帧率后所述第一图像采集装置和第二图像采集装置采集的前面若干帧图像，记为调整帧图像；

获取调整帧图像的清晰度等级并判断该调整帧图像的清晰度等级是否满足预设图像分析要求；

直至清晰度等级满足预设图像分析要求。

第三方面，本发明提供一种智能货柜的交互控制系统，所述系统包括：智能货柜、与智能货柜通信连接的服务器，其中，所述智能货柜为前面任一项所述的智能货柜。

综上所述，本发明的有益效果如下：

本发明实施例提供的智能货柜、智能货柜的交互控制方法和系统，通过设置第一图像采集装置和第二图像采集装置于智能货柜的不同位置，并通过调节二者之间的位置，可以广泛适用于不同尺寸的智能货柜，并且，可以实现用户在购物中图像采集的实时性和准确性，以便于准确识别商品类别和数量并生成订单信息，使得整个交易过程更加便捷和高效，为用户提供了良好、便利的购买体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。

图1是本发明实施例一的智能货柜系统的示意图。

图2是本发明实施例一的智能货柜的结构示意图。

图3是本发明实施例一的基于机器视觉的智能货柜交互控制方法的流程示意图。

图4是图3中步骤S1的具体流程示意图。

图5是图3中步骤S1的具体流程示意图。

图6是图3中步骤S3的具体流程示意图。

图7是图3中步骤S4的具体流程示意图。

图8是图3中步骤S5的具体流程示意图。

图9是本发明实施例二的基于机器视觉的智能货柜交互控制方法的流程示意图。

图10是本发明实施例三的基于机器视觉的智能货柜交互控制装置的结构示意图。

图11是本发明实施例四的基于机器视觉的智能货柜交互控制装置的结构示意图。

图12是本发明实施例的智能货柜主控系统的结构示意图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

实施例一

本发明实施例提供了一种基于机器视觉的智能货柜交互控制方法，该方法适用于智能货柜系统中的智能货柜端。如图1所示，智能货柜系统包括了智能货柜1和服务器2，智能货柜1和服务器2通过有线或无线方式连接，在实际应用中，智能货柜接收来自用户的购买请求后会打开柜门以便让用户挑选商品，在此过程中智能货柜通过设置于顶部的如MIPI摄像头、IPC摄像头或USB摄像头等图像采集装置采集用户挑选商品的过程，并将采集到的图像或视频发送至服务器，服务器对这些图像数据进行分析处理，确定用户购买商品类型和数量，然后将订单信息发送至用户智能手机或者是智能货柜的人机交互装置如显示屏中，用户确定订单信息无误后支付相应金额完成交易。

在一个实施例中，如图1所示，在智能货柜右上角设置有智能货柜的主控装置10，其中该主控装置10设置有两个图像采集装置：第一图像采集装置11、第二图像采集装置12，其中，第一图像采集装置11通过滑动槽(未示出)设置于所述主控装置中，第一图像采集装置在滑动槽中滑动从而可以调节与第二图像采集装置12之间的距离。优选地的，所述第一图像采集装置11的采集范围为智能货柜柜体内外，所述第二图像采集装置12的采集外围为智能柜体外。两个图像采集装置采集智能货柜柜体内外的图像并发送至服务器进行分析用户行为和操作，用户取走商品的类型和数量等，从而确定订单信息。优选地的，第一图像采集装置11的视角方向与智能货柜柜门所在平面的在垂直方向上的夹角范围为55°至65°，第二图像采集装置12的视角方向与智能货柜柜门所在平面在水平方向上的夹角为55°至65°。在安装时，第二图像采集装置12固定安装与智能货柜柜门右上角，根据第二图像采集装置12的位置、采集角度和采集范围滑动调节第一图像采集装置的位置，通过不断调整第一图像采集11与所述第二图像采集装置12之间的距离，以及第一图像采集装置11和第二图像采集装置的视角，使得第一图像采集装置11的采集范围和第二图像采集装置12的采集范围达到最佳效果，这里的最佳效果可根据实际应用情况确定，示例性的，需要将第一图像采集装置的采集范围覆盖到第一预设区域，第二图像采集装置的采集范围覆盖到第二预设区域，且第一预设区域和第二预设区域的重叠部分大于等于一定大小时则认为采集范围达到最佳效果，这里的第一预设区域和第二预设区域可以是两个图像采集装置所能采集到的柜体内外的任意区域。

请参见图3，所述基于机器视觉的智能货柜交互控制方法具体包括以下步骤：

S1:响应于来自服务器的启动命令，控制所述智能货柜的硬件装置进行硬件自检并获取硬件自检结果，所述硬件自检结果包括正常或异常；

S2:当所述硬件自检结果为正常时，控制所述智能货柜的图像采集装置按预设时间采集第一连续图像；

S3:当所述第一连续图像采集成功，控制所述智能货柜的电子锁执行开锁操作；

S4:控制所述图像采集装置开始采集第二连续图像直至接收到来自所述电子锁的闭锁信号；

S5:将采集到的所述第二连续图像发送至所述服务器并驱动所述服务器向所述智能终端发送订单信息。

具体的，当用户有购买智能货柜中商品的需求时，可以通过智能手机扫描智能货柜提供的二维码或点击智能货柜人机交互装置(如显示触摸屏)中的购买按键等向服务器发送启动请求，服务器接受到来自智能终端的启动请求将向智能货柜发出启动命令，智能货柜主控系统接收到该启动命令后为了确保整个交易过程中智能货柜硬件能正常稳定运行，首先会进行硬件装置的硬件自检，硬件自检结束获取硬件自检的结果，即正常或异常，若硬件自检结果为异常，则推送异常信息至智能终端告知用户智能货柜无法使用以及推送至智能货柜的运营商中以告知运营商及时检修维护。

当硬件自检结果为正常时，控制图像采集装置采集预设时间的第一连续图像，这里的预设时间可以根据实际情况确定，优选地为2s-3s。当第一连续图像采集成功，智能货柜将向电子锁发出开锁指令并控制电子锁开锁，用户由此可以打开柜门并挑选商品，同时，控制图像采集装置持续采集用户挑选商品过程的图像得到第二连续图像，直至用户挑选完毕并关闭柜门触发电子锁发送闭锁信号后，将采集到的第二连续图像发送至服务器，服务器根据采集到的第二连续图像进行分析处理，识别出用户挑选的商品类型和数量，并根据商品类型和数量确定订单金额，然后将订单信息推送至智能终端中告知用户，用户根据订单信息完成支付从而完成商品交易。在完成交易后，优选地，控制智能货柜进行待机状态以节省电源。

请参见图4，在一个实施例中，所述响应于来自服务器的启动命令，控制所述智能货柜进行硬件自检并获取硬件自检结果，其中所述硬件自检结果包括正常或异常包括：

S11:响应于所述启动命令，控制所述智能货柜的主控系统进行系统初始化；

S12:检测和验证所述智能货柜中硬件装置的工作状态，其中所述硬件装置包括图像采集装置、电子锁、网络通信模块中的任一种或多种；

S13:当所述系统初始化成功且所述硬件装置的工作状态均为正常时，所述硬件自检结果为正常，否则为异常。

具体的，智能货柜接收到启动命令后，首先执行基本的系统初始化，执行分配内存和资源等操作，系统初始化成功后，开始检测和验证图像采集装置的工作状态、电子锁的工作状态、网络通信模块工作状态、柜体内温湿度传感器的工作状态等，若图像采集装置、电子锁、网络通信模块等硬件装置的工作状态均为正常时，则硬件自检结果为正常，否则为异常。

在一个实施例中，请参见图5，响应于来自服务器的启动命令，控制所述智能货柜进行硬件自检并获取硬件自检结果还包括：

S14:将硬件自检过程中生成的过程信息实时发送至所述服务器，所述过程信息将被输入至所述服务器的预设硬件自检预测学习模型中并生成硬件自检结果预测信息；

S15:获取所述硬件自检结果预测信息并根据其确定必要自检项和非必要自检项；

S16:根据所述必要自检项执行所述智能货柜的硬件自检操作。

为了提升硬件自检效率，将硬件自检过程中生成的过程信息和结果信息实时发送至服务器，在服务器中预设一个机器学习模型——预设硬件自检预测学习模型中，该预设硬件自检预测学习模型根据历史数据进行训练和学习后能够根据实时获取的硬件自检过程中产出的过程信息预测在当前条件下的硬件自检结果，并返回硬件自检结果预测信息，智能货柜根据该硬件自检结果预测信息来确定必要自检项和非必要自检项，示例性的，根据服务器返回的硬件自检结果预测信息中得知图像采集装置的连接状态可能会发生异常，那么就必须执行图像采集装置的连接状态的检测和验证；在多次硬件自检结果中得知温湿度计状态稳定则温湿度计的检测可作为非必要自检项。在硬件自检过程中加入机器学习模型来预测智能货柜在当前硬件条件下的自检结果，可以跳过不必要的自检步骤，缩短自检时间，检索系统资源的使用、提高效率，而且还可以帮助预测可能出现问题的硬件装置以通知运营商采取预防性维护措施，提高用户体验。

在本实施例中，所述图像采集装置如图2所示至少包括第一图像采集装置和第二图像采集装置，其中所述第一图像采集装置和所述第二图像采集装置的采集区域不完全重叠，因此这里的第一连续图像包括了第一图像采集装置采集到的第一子连续图像和第二子连续图像，请参见图6，所述当所述硬件自检结果为正常时，控制智能货柜的图像采集装置按预设时间采集第一连续图像并将采集到的第一连续图像包括：

S21:控制所述第一图像采集装置和所述第二图像采集装置同时按预设时间采集第一子连续图像和第二子连续图像；

S22:将所述第一子连续图像和所述第二子连续图像进行拼合得到所述第一连续图像。

具体的，在硬件自检结果为正常时，分别控制第一图像采集装置和第二图像采集装置同时采集预设时间内的连续图像，分别记为第一子连续图像和第二子连续图像，由于第一图像采集装置和第二图像采集装置的采集范围不完全重叠，第一子连续图像和第二子连续图像记载了不同信息，这些信息都将用于获取用户操作和商品类别数量等。将第一子连续图像和第二子连续图像进行拼合得到第一连续图像。进一步的，还可以进行分析处理判断第一子连续图像和第二子连续图像的是否符合预设要求，示例性的，分辨率、帧率、图像采集范围等是否满足预设要求，采集的图像只有在满足预设要求的条件下其后根据这些图像分析处理得到的订单信息才准确。如果不符合预设要求，可以通知智能货柜的图像采集装置修正采集参数并重新采集符合预设要求的图像。

当第一连续图像采集成功后，智能货柜控制其电子锁开锁，用户由此可以打开柜门并挑选商品，同时，控制图像采集装置持续采集用户挑选商品过程的图像得到第二连续图像，直至用户挑选完毕并关闭柜门触发电子锁发送闭锁信号，为了保证第二连续图像采集过程的完整性和准确性，请参见图7，所述控制所述图像采集装置开始采集第二连续图像直至接收到来自所述电子锁的闭锁信号包括：

S31:提取所述第二连续图像中包括智能货柜柜门信息的帧图像，记为柜门图像；

S32:根据所述柜门图像实时生成柜门状态信息，其中所述柜门状态信息至少包括柜门开启、柜门关闭中的一种；

S33:当接收到所述闭锁信号时获取所述柜门状态信息；

S34:若所述柜门状态信息为柜门关闭时则控制所述图像采集装置停止所述第二连续图像的采集。

具体的，第二连续图像中记录了开锁后用户打开柜门、柜门打开状态、挑选商品以及挑选的商品的类型数量、挑选完毕后关闭柜门等信息，关闭柜门时电子锁相应的会闭锁并发送闭锁信息至主控系统中，此时主控系统认为用户已经完成了商品提取并结束当前的第二连续图像的采集。为了避免电子锁在使用过程中出现异常状态导致在柜门没有被关闭的情况下就发出闭锁信息提前结束第二连续图像的采集，导致信息采集不完成从而影响订单准确性，在本发明实施例中，通过提取第二连续图像中包含了柜门信息的帧图像，记为柜门图像，根据图像获取实时的柜门状态信息，当接收到电子锁的闭锁信息时，进一步根据柜门状态信息判断柜门是否关闭，如果是则告知图像采集装置停止采集第二连续图像。

在实际应用过程中，用户在打开柜门取出商品的过程中，可以会无意或者有意遮挡商品已至于图像采集装置无法采集到商品的图像，从而无法获取到商品信息。为了避免图像采集装置无法直接采集到商品取出过程中的商品图像，在一个实施例中，在控制图像采集装置采集第二连续图像时包括：

控制所述图像采集装置采集用户从开柜门到取出商品的运动轨迹；

根据运动轨迹确定用户取出的商品所在的商品区域；

对比用户取出商品前的所述商品区域的帧图像和用户取出商品后所述商品区域的帧图像，确定用户所取出的商品的信息。

在本实施例中，调整图像采集装置的采集范围使得图像采集装置能完整采集到用户的整体图像和柜体内各个商品区域的图像。因为智能货柜中往往摆放多种价格不同的商品，优选地在摆放商品时将价格相同或相近的同类商品摆放在同一区域，例如价格相同或相近且价格较低的饮料等商品摆放在智能货柜内第一层货架上，第一层货架即为第一商品区域，价格更高的饮料摆放在第二层货架上(第二商品区域)，将价格相同或相近且价格较低的面包摆放在第三层货架(第三商品区域)，价格较高的摆放在第四层货架上(第四商品区域)等等。在硬件自检后采集第一连续图像时，就可以将采集到的商品摆放信息、各商品所在的商品区域的信息记录下来。在用户打开智能货柜柜门开始控制图像采集装置采集第二连续图像，第二连续图像记录了用户从开柜门、伸手到柜体内、手停留在哪一商品区域、手移动出柜体外等等用户的运动轨迹，如果用户在取出商品的过程中无意或者有意遮挡了商品，导致图像采集装置无法获取到商品图像信息时，此时根据用户的运动轨迹确定其取出的商品所在的商品区域，同时提取出用户取出商品前该商品区域的帧图像以及用户在区域商品后该商品区域的帧图像，通过对比这两类帧图像确定用户取出的商品的数量和价格等信息。

此外，在实际应用中还有可能出现以下情况：图像采集装置的采集帧率设置较低，而用户在取出商品动作过快，导致图像采集图像模糊，影响商品信息的确认。在一个实施例中，控制所述图像采集装置采集第二连续图像还包括：

S301:提取图像采集装置初始采集的若干帧图像，即为初始帧图像；

S302:获取初始帧图像的清晰度等级并判断该清晰度等级是否满足预设图像分析要求；

S303:若否，根据所述清晰度等级和所述预设图像分析要求调整图像采集装置的采集帧率；

S304:重新获取调整采集帧率后所述图像采集装置采集的前面若干帧图像，记为调整帧图像；

S305:获取调整帧图像的清晰度等级并判断该调整帧图像的清晰度等级是否满足预设图像分析要求；重复步骤S303至S305直至清晰度等级满足预设图像分析要求。

为了确保图像采集装置采集到的图像的清晰度满足后续图像分析要求，在本实施例中，可以在采集图像之前先设定多个清晰度等级，确定需要从采集图像中获取所需商品信息时所要求满足的预设图像分析要求以及该预设图像分析要求所对应的清晰度等级。在开始图像采集时首先提取出前面若干帧的图像并确定其清晰度是否满足预设图像分析要求，如果不满足，则需要调整图像采集装置的采集帧率使其满足预设图像分析要求。在其他实施例中，在调整图像采集装置的采集帧率的同时，进一步的，还可以调整曝光度、光源等影响图像清晰度的参数，从而使得参数调整后的图像采集装置即使在用户动作过快等情况下也能够清晰采集图像以便于后续获取商品信息。

在实际应用中，图像采集装置还可能会被无意或者恶意遮挡。在一个实施例中，图像采集装置至少包括两个图像采集装置。当检测到其中一个图像采集装置被遮挡时，自动调整另一个图像采集装置的图像采集范围使其采集到图像能够满足后续图像分析获取商品信息的要求。此外，还可以提高未被遮挡的图像采集装置的采集帧率、调整光源亮度、曝光度、感光度、自动对焦等参数，使得即使使用一个图像采集装置也采集到满足后续图像分析要求的图像。若检测到两个图像采集装置都被遮挡时，此时可一方面控制智能货柜发出警报并启动锁门操作，另一个方面将图像采集装置被遮挡的信息通过服务器报送至运营商处以通知运营商及时排除遮挡故障。

在一个实施例中，在智能货柜端设置边缘计算模块，在控制所述图像采集装置开始采集第二连续图像直至接收到来自所述电子锁的闭锁信号之后还包括：

判断所述智能货柜与所述服务器的连接是否正常；

若否，将所述第二连续图像发送至所述边缘计算模块中进行图像分析处理并生成订单信息。

在通信网络正常的情况下，采集到的图像是发送到服务器端进行图像分析处理后生成订单再推送至智能终端上。当通信网络出现较大的延时或者是出现异常时，为了保证商品交易的正常进行，在智能货柜端设置边缘计算模块，在出现通信延时或异常时，可将采集到的图像直接传输至边缘计算模块中并根据采集到图像识别出商品信息后生成订单，从而避免当与服务器连接延时或异常时无法及时生成订单完成交易。

在一个实施例中，在控制图像采集装置采集第二连续图像时还包括：

将采集到的第二连续图像实时发送至边缘计算模块中对所述第二连续图像进行分析处理；

当所述边缘计算模块根据所述第二连续图像检测到用户已取出商品且在预设间隔时间内无拿取其他商品的操作，或者是检测到用户已离开所述智能货柜时，控制智能货柜发送结算指令至服务器以驱动服务器生成订单信息；

控制所述智能货柜柜门执行关闭操作。

如果用户在取出商品后忘记关闭柜门或者是由于某些原因导致柜门并未关闭，为了不影响商品价格结算以及避免能量的无端消耗，此时可以利用边缘计算模块根据图像采集装置采集到的图像分析用户是否取出商品并在预设间隔时间内并无其他拿取商品的操作或者是检测到用户已经离开智能货柜时，一方面控制智能货柜及时发送结算指令至服务器端通知服务器及时结算并生成订单，另一方面，控制智能货柜的柜门自动执行关闭操作，从而避免能源消耗。

在一个实施例中，所述图像采集装置如图2所示至少包括第一图像采集装置和第二图像采集装置，其中所述第一图像采集装置和所述第二图像采集装置的采集区域不完全重叠，第二连续图像中包括了第一图像采集装置采集的第三子连续图像和第二图像采集装置采集的第四子连续图像，请参见图8，所述将采集到的所述第二连续图像发送至所述服务器并驱动所述服务器向智能终端发送订单信息包括：

S41:获取所述第三子连续图像中记录有预设关键信息的第一关键帧图像，对所述第一关键帧图像进行数据分割处理获取其中第一预设关键图像；

S42:获取所述第四子连续图像中记录有预设关键信息的第二关键帧图像，对所述第二关键帧图像进行数据分割处理获取其中第二预设关键图像；

S43:分别获取所述第一预设关键图像的数据量和第二预设关键图像的数据量，记为第三数据量和第四数据量；

S44:分别根据所述第三数据量和所述第四数据量确定所述第一预设关键图像对应的第三传输通道和第二预设关键图像对应的第四传输通道；

S45:分别通过所述第三传输通道和所述第四传输通道将所述第一预设关键图像和所述第二预设关键图像发送至所述服务器并驱动所述服务器根据所述第一预设关键图像和所述第二预设关键图像进行数据处理分析后向所述智能终端发送订单信息。

具体的，为了提高数据传输和图像处理效率，在本发明实施例中，在向服务器传输图像数据前，先对图像数据进行智能数据分割处理，只提取关键帧图像以及关键帧图像中关键区域的图像信息，示例性，第一图像采集装置采集范围包括智能货柜内部和外部，第二图像采集装置采集范围为智能货柜外部，第二连续图像包括了站在智能货柜外部的用户的整体信息、智能货柜柜门信息、智能货柜内部整体信息、所有商品信息、用户挑选商品过程信息、用户取出商品的信息，由于订单信息的确定主要通过用户挑选商品过程信息、用户取出商品的信息(即预设关键信息)来确定，那么将记载这些信息的图像记为关键帧图像，获取第三子连续图像中记录有这些预设关键信息的帧图像记为第一关键帧图像，同样的获取第四子连续图像中记录有这些预设关键信息的帧图像记为第二关键帧图像，进一步的还从这些关键帧图像中提取关键区域的信息，示例性的，由于用户在选购过程中，除了伸入智能货柜内的手臂做的挑选动作、抓取商品动作等信息有助于确定准确订单信息外，其他身体信息如站立姿势、面部表情等对生成订单信息准确性并无帮助，因此对每个第一关键帧图像和第二关键帧图像进行智能数据分割，去除用户身体区域或者面部区域等的图像只获取对确定判断用户所取商品类型和数量等对生成订单有效的信息的区域图像，分别记为第一预设关键图像和第二预设关键图像，获取第一预设关键图像和第二预设关键图像对应的第三数据量和第四数据量，第三数据量和第四数据量相对于第三子连续图像和第四子连续图像的数据量将有所减少，从而可以减轻数据传输压力并提升处理效率。优选地，根据第三数据量和第四数据量的大小动态的为第一预设关键图像和第二预设关键图像分配适合的第三传输通道和第四传输通道，例如当第三数据量较大时第三传输通道的带宽则调整为较大带宽。服务器接收到第一预设关键图像和第二预设关键图像后，根据第一预设关键图像和第二预设关键图像进行分析处理，获取用户挑选的商品类型和数据等信息，并根据这些信息生成相应订单发送至用户的智能手机或者是智能货柜的人机交互装置中。用户根据订单信息支付商品货款从而完成交易。

在一个实施例中，当图像采集装置由于被遮挡或参数设置不合理等原因导致图像采集异常、或者智能货柜与服务器之间通信异常时，还可以利用设置于智能货柜的边缘计算模块进行自动异常处理，所述基于机器视觉的智能货柜交互控制方法包括：

响应于来自服务器的启动命令，控制所述智能货柜的硬件装置进行硬件自检并获取硬件自检结果，其中，所述硬件自检结果包括正常或异常；

当所述硬件自检结果为正常时，控制所述智能货柜的图像采集装置按预设时间采集第一连续图像；

当所述第一连续图像采集成功，控制所述智能货柜的电子锁执行开锁操作；

当所述第一连续图像采集失败，获取采集失败原因并将所述采集失败原因发送至所述边缘计算模块，其中所述边缘计算模块根据所述采集失败原因制定相应的图像采集装置处理策略；

控制所述智能货柜根据所述图像采集装置处理策略调整所述图像采集装置后执行开锁操作；

控制所述图像采集装置开始采集第二连续图像并将所述第二连续图像实时传输至所述边缘计算模块，其中所述边缘计算模块用于对接收到的第二连续图像进行分析处理；

当所述智能货柜在预设最大取货时间内接收到来自所述电子锁的闭锁信号，判断所述智能货柜与所述服务器的连接是否正常，若是，则将采集到的第二连续图像发送至所述服务器并驱动所述服务器向所述智能终端发送订单信息；若否，则控制所述边缘计算模块根据接收到的第二连续图像生成订单信息并将订单信息发送至所述智能终端；

当所述智能货柜在预设最大取货时间内未接收到所述闭锁信号，控制所述边缘计算模块根据所述第二连续图像判断用户是否结束拿取商品，若是，判断所述智能货柜与所述服务器的连接是否正常，若连接正常则控制智能货柜发送结算指令至服务器以驱动服务器生成订单信息；若连接异常则控制所述边缘计算模块根据接收到的第二连续图像生成订单信息并将订单信息发送至所述智能终端。

具体的，当智能货柜响应于来自服务器的启动命令启动并进行硬件自检后，图像采集装置按预设时间采集第一连续图像；若图像采集装置无异常情况使，第一连续图像采集成功，控制所述智能货柜的电子锁执行开锁操作；若图像采集装置出现参数设置不当、或者被部分遮挡时导致无法正常采集图像时，则认为第一连续图像采集失败，获取采集失败原因，并将所述采集失败原因发送至所述边缘计算模块，其中所述边缘计算模块根据所述采集失败原因制定相应的图像采集装置处理策略：例如是图像采集装置被恶意遮挡了，则启动隐藏的另一个图像采集装置进行图像采集，或者是发出语音警报告知用户不要遮挡图像采集装置；如果时图像采集装置参数设置不当则调整该图像采集装置的参数。对图像采集装置进行调整使其能够正常采集图像后，执行开锁操作，用户在柜门开启后拿取商品，图像采集装置采集用户拿取商品的过程，为保证交易的顺利进行，图像采集装置在采集第二连续图像的同时将图像发送至边缘计算模块中进行图像的实时分析，当所述智能货柜在预设最大取货时间(预设最大取货时间可根据实际情况确定，例如根据历史数据分析得知用户一般在10分钟内完成交易，那么预设最大取货时间可设为10分钟)内接收到来自所述电子锁的闭锁信号，说明用户在拿取商品后并且关闭柜门，那么判断所述智能货柜与所述服务器的连接是否正常，如果连接正常则将采集到的第二连续图像发送至所述服务器并驱动所述服务器向所述智能终端发送订单信息；如果此时由于网络延时、或者信号被恶意屏蔽等原因导致连接异常时，则控制所述边缘计算模块根据接收到的第二连续图像生成订单信息并将订单信息发送至所述智能终端；

当所述智能货柜在预设最大取货时间内未接收到所述闭锁信号，说明用户可能忘记关门或者是恶意不关门，此时控制所述边缘计算模块根据第二连续图像判断用户是否结束拿取商品，这里的判断用户是否结束拿取商品可以通过边缘计算模块根据第二连续图像分析检测到用户已取出商品且无拿取其他商品或者用户已离开智能货柜，若是有上述情形之一则认为用户已经结束拿取商品，此时，判断所述智能货柜与所述服务器的连接是否正常，若连接正常则控制智能货柜发送结算指令至服务器以驱动服务器生成订单信息；若连接异常则控制所述边缘计算模块根据接收到的第二连续图像生成订单信息并将订单信息发送至所述智能终端。在本实施例中，考虑在商品交易过程中当图像采集装置出现异常和/或与服务器的通信连接出现异常时，利用在智能货柜端设置的边缘计算模块来对异常情况进行及时处理已使商品交易顺利进行从而提高用户体验。

实施例二

本发明实施例提供了一种基于机器视觉的智能货柜交互控制方法，应用与服务器端，服务器通过有线或无线方式与智能货柜连接，接收智能货柜传输的图像数据并对图像数据进行分析处理以辅助智能货柜完成商品识别和交易。请参见图9，所述基于机器视觉的智能货柜交互控制方法包括：

S10:接受来自智能终端的启动请求，向智能货柜发送启动命令，所述启动命令将驱动所述智能货柜进行硬件自检、采集第一连续图像和第二连续图像，其中所述智能终端包括智能手机、智能货柜人机交互装置的任一种；

S20:接收来自所述智能货柜的第二连续图像，其中所述第二连续图像为所述智能货柜的所述图像采集装置从电子锁开锁开始至闭锁为止所连续采集的图像；

S30:对所述第二连续图像进行图像识别分析处理并生成订单信息；

S40:将所述订单信息发送至所述智能终端中。

具体的，当用户有购买智能货柜中商品的需求时，可以通过智能手机扫描智能货柜提供的二维码或点击智能货柜人机交互装置(如显示触摸屏)中的购买按键等向服务器发送启动请求，服务器接受到来自智能终端的启动请求将向智能货柜发送启动指令，当智能货柜接收到启动命令启动并完成硬件自检后，将控制图像采集装置采集预设时间的第一连续图像，当第一连续图像采集成功后，智能货柜控制其电子锁开锁，用户由此可以打开柜门并挑选商品，同时，控制图像采集装置持续采集用户挑选商品过程的图像得到第二连续图像，直至用户挑选完毕并关闭柜门触发电子锁发送闭锁信号后，将采集到的第二连续图像发送至服务器，服务器根据采集到的第二连续图像进行分析处理，识别出用户挑选的商品类型和数量，并根据商品类型和数量确定订单金额，然后将订单信息推送至智能终端中告知用户，用户根据订单信息完成支付从而完成商品交易。

综上所述，本发明实施例提供的基于机器视觉的智能货柜交互控制方法，通过响应于来自服务器启动命令，控制所述智能货柜进行硬件自检并获取硬件自检结果；当所述硬件自检结果为正常时，控制智能货柜的图像采集装置按预设时间采集第一连续图像；当第一连续图像采集成功后，控制所述智能货柜的电子锁执行开锁操作；控制所述图像采集装置开始采集第二连续图像直至接收到来自所述电子锁的闭锁信号；将采集到的所述第二连续图像发送至所述服务器并驱动所述服务器向所述智能终端发送订单信息，实现了智能货柜交互控制和商品交易过程。本发明方法通过硬件自检确保设备的正常运行和稳定性，通过实时图像采集监控并发送至服务器进行图像分析从而准确识别商品类别和数量并生成订单信息，使得整个交易过程更加便捷和高效，为用户提供了良好、便利的购买体验。

实施例三

请参阅图10，本发明实施例提供了一种基于机器视觉的智能货柜交互控制装置200，应用于智能货柜端，所述装置200包括：

自检模块201，用于用于响应于来自服务器的启动命令，控制所述智能货柜的硬件装置进行硬件自检并获取硬件自检结果，其中所述硬件自检结果包括正常或异常；

第一采集模块202，用于当所述硬件自检结果为正常时，控制所述智能货柜的图像采集装置按预设时间采集第一连续图像；

开锁模块203，用于当所述第一连续图像采集成功，控制所述智能货柜的电子锁执行开锁操作；

第二采集模块204，用于控制所述图像采集装置开始采集第二连续图像直至接收到来自所述电子锁的闭锁信号；

订单获取模块205，应用于将采集到的所述第二连续图像发送至所述服务器并驱动所述服务器向所述智能终端发送订单信息。

实施例四

请参见图11，本发明实施例提供了一种基于机器视觉的智能货柜交互控制装置400，应用服务器端，所述装置400包括：

启动命令发送模块401，用于接受来自智能终端的启动请求，向智能货柜发送启动命令，所述启动命令将驱动所述智能货柜进行硬件自检、采集第一连续图像和第二连续图像，其中所述智能终端包括智能手机、智能货柜人机交互装置的任一种；

第二图像接收模块402，用于接收来自所述智能货柜的第二连续图像，其中所述第二连续图像为所述智能货柜的所述图像采集装置从电子锁开锁开始至闭锁为止所连续采集的图像；

订单生成模块403，用于对所述第二连续图像进行图像识别分析处理并生成订单信息；

订单发送模块404，用于将所述订单信息发送至所述智能终端中。

综上所述，本发明实施例提供的基于机器视觉的智能货柜交互控制装置，通过响应于来自服务器启动命令，控制所述智能货柜进行硬件自检并获取硬件自检结果；当所述硬件自检结果为正常时，控制智能货柜的图像采集装置按预设时间采集第一连续图像；当第一连续图像采集成功，控制所述智能货柜的电子锁执行开锁操作；控制所述图像采集装置开始采集第二连续图像直至接收到来自所述电子锁的闭锁信号；将采集到的所述第二连续图像发送至所述服务器并驱动所述服务器向所述智能终端发送订单信息，实现了智能货柜交互控制和商品交易过程。本发明方法通过硬件自检确保设备的正常运行和稳定性，通过实时图像采集监控并发送至服务器进行图像分析从而准确识别商品类别和数量并生成订单信息，使得整个交易过程更加便捷和高效，为用户提供了良好、便利的购买体验。

实施例五

本发明上实施例里提供了一种智能货柜系统，所述系统包括智能货柜和服务器，所述智能货柜和所述服务器通过有线或无线方式连接，其中，

所述智能货柜包括：

如实施例三所述的应用于智能货柜端的基于机器视觉的智能货柜交互控制装置200，包括：

自检模块201，用于响应于来自服务器的启动命令，控制所述智能货柜的硬件装置进行硬件自检并获取硬件自检结果，其中所述硬件自检结果包括正常或异常；

第一采集模块202，用于当所述硬件自检结果为正常时，控制所述智能货柜的图像采集装置按预设时间采集第一连续图像；

开锁模块203，用于当所述第一连续图像采集成功，控制所述智能货柜的电子锁执行开锁操作；

第二采集模块204，用于控制所述图像采集装置开始采集第二连续图像直至接收到来自所述电子锁的闭锁信号；

订单获取模块205，应用于将采集到的所述第二连续图像发送至所述服务器并驱动所述服务器向所述智能终端发送订单信息。

所述服务器包括：

如实施例四所述的应用于服务器端的基于机器视觉的智能货柜交互控制装置400，包括：

启动命令发送模块401，用于接受来自智能终端的启动请求，向智能货柜发送启动命令，所述启动命令将驱动所述智能货柜进行硬件自检、采集第一连续图像和第二连续图像，其中所述智能终端包括智能手机、智能货柜人机交互装置的任一种；

第二图像接收模块402，用于接收来自所述智能货柜的第二连续图像，其中所述第二连续图像为所述智能货柜的所述图像采集装置从电子锁开锁开始至闭锁为止所连续采集的图像；

订单生成模块403，用于对所述第二连续图像进行图像识别分析处理并生成订单信息；

订单发送模块404，用于将所述订单信息发送至所述智能终端中。将所述订单信息发送至所述智能终端中。

实施例六

另外，本发明实施例的基于机器视觉的智能货柜交互控制方法可以由智能货柜主控系统来实现。图12示出了本发明实施例提供的智能货柜主控系统的硬件结构示意图。

智能货柜主控系统可以包括处理器301以及存储有计算机程序指令的存储器302。

具体地，上述处理器301可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器302可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器302可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器302可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器302可在数据处理装置的内部或外部。在特定实施例中，存储器302是非易失性固态存储器。在特定实施例中，存储器302包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器301通过读取并执行存储器302中存储的计算机程序指令，以实现上述实施例中的任意一种基于机器视觉的智能货柜交互控制方法。

在一个示例中，智能货柜主控系统还可包括通信接口303和总线310。其中，如图12所示，处理器301、存储器302、通信接口303通过总线310连接并完成相互间的通信。

通信接口303，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线310包括硬件、软件或两者，将智能货柜主控系统的部件彼此耦接在一起。举例来说而非限制，总线310可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线310可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种智能货柜，其特征在于，所述智能货柜包括：设于所述智能货柜柜体右上角的主控装置，所述主控装置设置有第一图像采集装置和第二图像采集装置，其中，第一图像采集装置通过滑动槽设置于所述主控装置中，第一图像采集装置在滑动槽中滑动从而可以调节与第二图像采集装置之间的距离；所述第一图像采集装置的采集范围为智能货柜柜体内外，所述第二图像采集装置的采集范围为智能柜体外。

2.根据权利要求1所述的智能货柜，其特征在于，所述第一图像采集装置的视角方向与智能货柜柜门所在平面的在垂直方向上的夹角范围为55°至65°。

3.根据权利要求2所述的智能货柜，其特征在于，所述第二图像采集装置的视角方向与智能货柜柜门所在平面在水平方向上的夹角为55°至65°。

4.根据权利要求1至3任一项所述的智能货柜，其特征在于，所述第二图像采集装置固定安装于智能货柜柜门右上角，根据第二图像采集装置的位置、采集角度和采集范围滑动调节第一图像采集装置的位置。

5.一种依据权利要求1至4任一项所述的智能货柜的交互控制方法，其特征在于，所述交互控制方法包括：

控制所述智能货柜的第一图像采集装置和第二图像采集装置按预设时间采集得到第一连续图像；

当所述第一连续图像采集成功，控制所述智能货柜的电子锁执行开锁操作；

控制第一图像采集装置和第二图像采集装置开始采集第二连续图像直至接收到来自所述电子锁的闭锁信号；

将采集到的所述第二连续图像发送至所述服务器并驱动所述服务器向所述智能终端发送订单信息。

6.根据权利要求5所述的智能货柜的交互控制方法，其特征在于，所述控制所述智能货柜的第一图像采集装置和第二图像采集装置按预设时间采集得到第一连续图像，包括：

控制所述第一图像采集装置和所述第二图像采集装置同时按预设时间采集第一子连续图像和第二子连续图像；

将所述第一子连续图像和所述第二子连续图像进行拼合得到所述第一连续图像。

7.根据权利要求5所述的智能货柜的交互控制方法，其特征在于，所述控制第一图像采集装置和第二图像采集装置开始采集第二连续图像直至接收到来自所述电子锁的闭锁信号，包括：

提取所述第二连续图像中包括智能货柜柜门信息的帧图像，记为柜门图像；

根据所述柜门图像实时生成柜门状态信息，其中所述柜门状态信息至少包括柜门开启、柜门关闭中的一种；

当接收到所述闭锁信号时获取所述柜门状态信息；

若所述柜门状态信息为柜门关闭时则控制所述图像采集装置停止所述第二连续图像的采集。

8.根据权利要求5所述的智能货柜的交互控制方法，其特征在于，所述控制第一图像采集装置和第二图像采集装置开始采集第二连续图像直至接收到来自所述电子锁的闭锁信号，包括：

控制所述第一图像采集装置和第二图像采集装置采集用户从开柜门到取出商品的运动轨迹；

根据运动轨迹确定用户取出的商品所在的商品区域；

对比用户取出商品前的所述商品区域的帧图像和用户取出商品后所述商品区域的帧图像，确定用户所取出的商品的信息。

9.根据权利要求5所述的智能货柜的交互控制方法，其特征在于，控制所述图像采集装置采集第二连续图像还包括：

提取第一图像采集装置和第二图像采集装置初始采集的若干帧图像，即为初始帧图像；

获取初始帧图像的清晰度等级并判断该清晰度等级是否满足预设图像分析要求；

若否，根据所述清晰度等级和所述预设图像分析要求调整第一图像采集装置和第二图像采集装置的采集帧率；

重新获取调整采集帧率后所述第一图像采集装置和第二图像采集装置采集的前面若干帧图像，记为调整帧图像；

获取调整帧图像的清晰度等级并判断该调整帧图像的清晰度等级是否满足预设图像分析要求；

直至清晰度等级满足预设图像分析要求。

10.一种智能货柜的交互控制系统，其特征在于，所述系统包括：智能货柜、与智能货柜通信连接的服务器，其中，所述智能货柜为权利要求1至4任一项所述的智能货柜。