CN110335409A - 零售设备及其控制方法以及机器可读存储介质 - Google Patents

Abstract

本发明实施方式提供一种零售设备及其控制方法以及机器可读存储介质，属于自动化设备领域。所述零售设备包括：主体；振动检测模块，被配置为检测所述主体的振动幅度；图像获取模块，被配置为获取所述主体内商品的商品图像；以及控制模块，被配置为：从所述振动检测模块获取所述振动幅度；判断所述振动幅度是否在预设范围内；以及在判断出所述振动幅度在所述预设范围内的情况下，控制所述图像获取模块获取所述商品图像。如此，通过振动检测模块检测零售设备的主体的振动幅度，并在振动幅度在预设范围内的情况下获取商品图像，可以确保获取的商品图像具有较高的成像质量，从而提高商品图像识别的成功率和准确性。

Description

零售设备及其控制方法以及机器可读存储介质

技术领域

本发明涉及自动化设备领域，具体地涉及一种零售设备及其控制方法以及机器可读存储介质。

背景技术

当前的零售设备，例如无人零售货柜，有很多是基于图像识别技术来识别商品并在关门后进行结算。基于图像识别技术的结算方式简单、便捷，故而提高图像识别率也是商家一直努力的方向之一，无人零售柜由于关门时用户的用力大小不同，会使得关门后货柜依然有些不同程度的振动，如果此时立刻进行图像拍摄，可能会由于货柜的抖动而导致拍摄的图片模糊，从而降低识别率，影响识别结果的准确性，甚至无法进行图像识别。

发明内容

为至少部分地解决现有技术中存在的上述问题，本发明实施方式的目的是提供一种零售设备及其控制方法以及机器可读存储介质。

为了实现上述目的，在本发明实施方式的第一方面，提供一种零售设备，所述零售设备包括：主体；振动检测模块，被配置为检测所述主体的振动幅度；图像获取模块，被配置为获取所述主体内商品的商品图像；以及控制模块，被配置为：从所述振动检测模块获取所述振动幅度；判断所述振动幅度是否在预设范围内；以及在判断出所述振动幅度在所述预设范围内的情况下，控制所述图像获取模块获取所述商品图像。

可选地，所述主体包括门体，所述零售设备还包括：开关门检测模块，被配置为检测所述门体的开关状态；所述控制模块还被配置为：从所述开关门检测模块获取所述开关状态；以及在确定所述开关状态进入关闭状态的情况下，执行所述判断所述振动幅度是否在预设范围内。

可选地，所述零售设备还包括：通信模块，被配置为将所述商品图像传输至云端服务器进行识别，并从所述云端服务器接收识别结果；其中，所述控制模块还被配置为根据所述识别结果进行扣费操作。

可选地，所述主体包括箱体，所述图像获取模块设置于所述箱体的内顶壁或内侧壁上。

可选地，所述主体包括多层搁架，所述图像获取模块设置于相邻两层搁架中的上层搁架的底面，以获取其下层的所述搁架上的商品图像。

可选地，所述振动检测模块与所述图像获取模块相邻设置或者安装于所述图像获取模块上。

在本发明实施方式的第二方面，提供一种用于零售设备的控制方法，所述零售设备包括主体，所述控制方法包括：检测所述主体的振动幅度；判断所述振动幅度是否在预设范围内；以及在判断出所述振动幅度在所述预设范围内的情况下，获取所述主体内商品的商品图像。

可选地，所述主体包括门体，所述控制方法还包括：检测所述门体的开关状态；以及在确定所述开关状态进入关闭状态的情况下，执行所述判断所述振动幅度是否在预设范围内。

可选地，所述控制方法还包括：将所述商品图像传输至云端服务器进行识别；从所述云端服务器接收识别结果；以及根据所述识别结果进行扣费操作。

在本发明实施方式的第三方面，提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于在被处理器执行时使得所述处理器能够执行上述的用于零售设备的控制方法。

在上述技术方案中，通过振动检测模块检测零售设备的主体的振动幅度，并在振动幅度在预设范围内的情况下获取商品图像，可以确保获取的商品图像具有较高的成像质量，从而提高商品图像识别的成功率和准确性。

本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：

图1示例性示出了本发明一种实施方式提供的零售设备的立体图；

图2示例性示出了本发明一种可选实施方式提供的用于零售设备的控制系统的框图；

图3示例性示出了本发明一种实施方式提供的用于零售设备的控制方法的流程图；以及

图4示例性示出了本发明一种可选实施方式提供的用于零售设备的控制方法的流程图。

附图标记说明

1 主体 2 振动检测模块

3 图像获取模块 4 控制模块

5 电源模块 6 通信模块

7 负载模块 11 箱体

12 门体 13 门锁

14 搁架 31、32、33 摄像头

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

需要说明，若本发明实施方式中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本发明实施方式中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

图1示例性示出了本发明一种实施方式提供的零售设备的立体图。如图1所示，本发明实施方式提供一种零售设备，该该零售设备可以包括主体1、振动检测模块2、图像获取模块3和控制模块4。其中，振动检测模块2被配置为检测主体1的振动幅度。图像获取模块3被配置为获取主体1内商品的商品图像。控制模块4被配置为从振动检测模块2获取主体1的振动幅度，并判断主体1的振动幅度是否在预设范围内，在判断出主体1的振动幅度在预设范围内的情况下，控制模块4控制图像获取模块3获取商品图像。

如此，通过振动检测模块检测零售设备的主体的振动幅度，并在振动幅度在预设范围内的情况下获取商品图像，可以确保获取的商品图像具有较高的成像质量，从而提高商品图像识别的成功率和准确性。

具体地，如图1和图2所示，该零售设备可以例如为无人售货柜、无人售卖机等。该零售设备的主体1可以包括箱体11和与箱体11连接的门体12，在箱体11上可以设置有用于保持门体12关闭的门锁13，该门锁13可以受控于主体1内的控制模块4，在检测到用户需要购买箱体11内的商品时，控制模块4可以控制门锁13解锁，以使得门体12能够被用户打开。箱体11中至少有一层搁架14，该搁架14用于摆放商品。零售设备还可以包括图像获取模块3，该图像获取模块3可以包括安装于箱体11内部的摄像头，该摄像头用于拍摄箱体11内的商品，从而获取商品的商品图像，其中该商品图像可以包括商品的动态视频和/或照片等。在使用时，该摄像头可以在检测到门体12打开或关闭后，拍摄箱体11内商品的动态视频和/或图片，并将拍摄的动态视频和/或图片上传到云端服务器，以进行图像识别。云端服务器对商品图像进行识别，以确定用户拿取的商品类型和数量等信息，并计算费用，随后向零售设备或用户的移动设备反馈识别结果并进行结账扣款。

在箱体11中至少安装有一个摄像头，该摄像头可以安装在搁架14上。例如，该摄像头可以设置于相邻两层搁架14中的上层搁架14的底面，并通过结构件固定在搁架14上，该摄像头可以向下倾斜一定角度，以能够拍摄下一层搁架14上的商品图像，该摄像头的具体位置可以如图1中的摄像头32和摄像头33的所示。另外，摄像头也可以安装在箱体11的内侧壁上或箱体11的内顶壁上，例如，安装在图1中摄像头31所示的位置，其中箱体11的内侧壁可以包括箱体左内侧壁、右内侧壁和后内侧壁。

在箱体11上可以设置有至少一个振动检测模块2，振动检测模块2用于检测箱体11的振动幅度大小，该振动检测模块2可以安装在箱体11内，也可以安装在箱体11外，尤其可以安装在箱体11偏上的位置，例如安装在箱体11的内顶壁上，以尽可能检测到箱体11的振动幅度大小。此外，振动检测模块11可以与图像获取模块3相邻设置或者直接安装在图像获取模块3上。

图2示例性示出了本发明一种可选实施方式提供的用于零售设备的控制系统的框图。如图2所示，该零售设备的控制系统可以包括振动检测模2、图像获取模块3、控制模块4、电源模块5、通信模块6以及负载模块7。其中，控制模块4可以安装于箱体11中，控制模块4分别与振动检测模2、图像获取模块3、电源模块5、通信模块6以及负载模块7电性连接，该控制模块4能够接收上述各个模块发送的信息并进行运算处理，同时可以发送命令到上述各个模块，以对上述模块进行控制。电源模块5用于给零售设备中各个耗电模块进行供电。图像获取模块3可以在检测到门体12打开或关闭后，拍摄箱体11内商品的动态视频和/或图片，并通过通信模块6将拍摄的动态视频和/或图片上传到云端，以进行图像识别。振动检测模块2用于检测主体1的振动或震动，该振动检测模块2可以是但不局限于振动传感器、震动传感器、振动加速度传感器或振动位移传感器等。通信模块6可以用于与云端服务器和/或用户移动设备之间进行通信。负载模块7可以包含零售设备的基本制冷/制热模块和开关门检测模块等基本负载。

在使用时，当需要获取商品图像时，控制模块4可以从振动检测模块2获取主体1的振动幅度，并判断主体1的振动幅度是否在预设范围内，在判断出主体1的振动幅度在预设范围内的情况下，控制模块4控制图像获取模块3获取箱体11内商品的商品图像。其中，该预设范围为提前设定的针对零售设备主体1的一个振动幅度范围，在该预设范围内的振动幅度对图像获取模块3的拍摄影响较小。可以理解的是，该预设范围可以是小于一振动阈值的振动幅度范围，或者也可以是由两个振动阈值共同限定的振动幅度范围。其中，当主体1的振动幅度超出该预设范围时，图像获取模块3拍摄图像的清晰效果受到主体1振动影响较严重；当主体1的振动幅度处于该预设范围内时，图像获取模块3拍摄图像的清晰效果不受主体1振动的影响或受主体1振动的影响较轻微。该预设范围可以通过对零售设备进行多次实验进行确定。

在本发明一种可选实施方式中，零售设备还可以包括开关门检测模块(未示出)，该开关门检测模块例如安装在门锁13附近，用于检测门体12的开关状态。控制模块4还被配置为从开关门检测模块获取门体12的开关状态，并在确定门体12的开关状态进入关闭状态的情况下，也即用户取出商品并关闭门体12的情况下，判断主体1的振动幅度是否在预设范围内。进一步地，如果主体1的振动幅度在预设范围内，则控制模块4可以控制图像获取模块3获取箱体11内商品的商品图像。

可以理解的是，零售设备的振动一般是由于用户的关门动作造成的，而在用户关闭门体12后，零售设备需要获取箱体11内的商品图像以进行结算，如果在检测到用户关闭门体12后立刻进行图像拍摄，则可能会由于零售设备11振动的幅度过大而导致商品图像不清晰，从而影响识别结果，而如果为了降低振动幅度，在关门后间隔较长时间再进行图像拍摄，则用户等待时间较长，又会影响用户体验。为解决上述问题，在本可选实施方式中，控制模块4可以通过开关门检测模块获取门体12的开关状态，在确定用户关闭门体12后，通过振动检测模块2检测主体1的振动幅度，并在主体1的振动幅度在预设范围内的情况下，立即控制图像获取模块3获取箱体11内商品的商品图像。如此，既可以获取较高成像质量的商品图像，又可以避免用户长时间等待，在提高商品图像识别的准确性的同时，也不会浪费用户过多的时间，从而提高了用户体验。

在本发明一种可选实施方式中，零售设备的通信模块6被配置为将图像获取模块3获取的商品图像传输至云端服务器进行识别，并从云端服务器接收识别结果。控制模块4还被配置为根据通信模块6接收到的识别结果进行扣费操作。可以理解的是，通过比较用户拿取商品前后的商品图像，可以确定用户购买的商品类型和数量，从而可以确定用户需要支付的费用，并对用户进行扣费。此外，通过将用于处理和分析商品图像的功能模块放在服务器端，可以降低零售设备的成本。

如图3所示，本发明实施方式还提供一种用于零售设备的控制方法，该零售设备包括主体，用于零售设备的控制方法可以包括：

步骤S11，检测零售设备的主体的振动幅度。

步骤S12，判断振动幅度是否在预设范围内。

步骤S13，在判断出振动幅度在预设范围内的情况下，获取主体内商品的商品图像。

如此，通过检测零售设备的主体的振动幅度，并在振动幅度在预设范围内的情况下获取商品图像，可以确保获取的商品图像具有较高的成像质量，从而提高商品图像识别的成功率和准确性。

在本发明一种可选实施方式中，烹饪设备的主体可以包括门体，用于零售设备的控制方法还可以包括：检测零售设备门体的开关状态，并在确定门体的开关状态进入关闭状态的情况下，执行上述步骤S12。

进一步地，用于零售设备的控制方法还可以包括：将获取的商品图像传输至云端服务器进行识别，并从云端服务器接收识别结果，随后根据识别结果进行扣费操作。

举例来说，如图4所示，在本发明一种可选实施方式中，用于零售设备的控制方法可以包括以下步骤：

步骤S21，判断是否检测到关门信号，若是，则转至步骤S22；若否，重复步骤S21。

步骤S22，判断振动检测模块检测到的振动幅度是否在预设范围内？若是，则转至步骤S23；若否，重复步骤S22。

步骤S23，启动图像获取模块以获取箱体内商品的商品图像，随后执行步骤S24。

步骤S24，将获取的商品图像上传至云端服务器进行图像识别，随后执行步骤S25。

步骤S25，接收云端服务器返回的识别结果，并进行结账扣款。

如此，在零售设备的门体关闭后，可以先检测零售设备的振动幅度，并在振动幅度较小时再进行拍摄，从而可以提高商品图像的清晰度，有利于商品图像识别率的提升。

相应地，本发明实施方式还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于在被处理器执行时使得处理器能够执行上述的用于零售设备的控制方法。

以上结合附图详细描述了本发明的可选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施方式方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明所公开的内容。

Claims (10)

1.一种零售设备，其特征在于，所述零售设备包括：

主体；

振动检测模块，被配置为检测所述主体的振动幅度；

图像获取模块，被配置为获取所述主体内商品的商品图像；以及

控制模块，被配置为：

从所述振动检测模块获取所述振动幅度；

判断所述振动幅度是否在预设范围内；以及

在判断出所述振动幅度在所述预设范围内的情况下，控制所述图像获取模块获取所述商品图像。

2.根据权利要求1所述的零售设备，其特征在于，所述主体包括门体，所述零售设备还包括：

开关门检测模块，被配置为检测所述门体的开关状态；

所述控制模块还被配置为：

从所述开关门检测模块获取所述开关状态；以及

在确定所述开关状态进入关闭状态的情况下，执行所述判断所述振动幅度是否在预设范围内。

3.根据权利要求1或2所述的零售设备，其特征在于，所述零售设备还包括：通信模块，被配置为将所述商品图像传输至云端服务器进行识别，并从所述云端服务器接收识别结果；

其中，所述控制模块还被配置为根据所述识别结果进行扣费操作。

4.根据权利要求1所述的零售设备，其特征在于，所述主体包括箱体，所述图像获取模块设置于所述箱体的内顶壁或内侧壁上。

5.根据权利要求1所述的零售设备，其特征在于，所述主体包括多层搁架，所述图像获取模块设置于相邻两层搁架中的上层搁架的底面，以获取其下层的所述搁架上的商品图像。

6.根据权利要求1所述的零售设备，其特征在于，所述振动检测模块与所述图像获取模块相邻设置或者安装于所述图像获取模块上。

7.一种用于零售设备的控制方法，其特征在于，所述零售设备包括主体，所述控制方法包括：

检测所述主体的振动幅度；

判断所述振动幅度是否在预设范围内；以及

在判断出所述振动幅度在所述预设范围内的情况下，获取所述主体内商品的商品图像。

8.根据权利要求7所述的控制方法，其特征在于，所述主体包括门体，所述控制方法还包括：

检测所述门体的开关状态；以及

在确定所述开关状态进入关闭状态的情况下，执行所述判断所述振动幅度是否在预设范围内。

9.根据权利要求7或8所述的控制方法，其特征在于，所述控制方法还包括：

将所述商品图像传输至云端服务器进行识别；

从所述云端服务器接收识别结果；以及

根据所述识别结果进行扣费操作。

10.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于在被处理器执行时使得所述处理器能够执行根据权利要求7至9中任意一项权利要求所述的用于零售设备的控制方法。