CN111191579A - 物品检测方法、装置、终端及计算机可读存储介质 - Google Patents

Abstract

本公开提供了一种物品检测方法、装置、终端及计算机可读存储介质，属于自动控制技术领域。所述方法包括：通过获取智能售货设备内部的多个视频帧及其对应的重力数据，基于这多个视频帧进行识别，得到多种候选商品以及多种候选商品的商品信息，基于该多种候选商品、多种候选商品的商品信息和重力数据，从多种候选商品中确定目标商品。本公开通过结合重力变化信息进行用户所购买商品的确定，可以对候选商品进行进一步筛选，避免产生干扰，提高商品检测结果的准确性。

Description

物品检测方法、装置、终端及计算机可读存储介质

技术领域

本公开涉及自动控制技术领域，特别涉及一种物品检测方法、装置、终端及计算机可读存储介质。

背景技术

随着移动支付技术的普及和图像识别技术的成熟，智能售货设备的大规模落地应用得以实现，用户只需通过扫描智能售货设备上的二维码，开通免密支付功能后，即可打开智能售货设备的柜门，从智能售货设备中拿走自己想要购买的商品，再关上柜门，就完成了整个商品的购买过程，无需人工操作，简单方便。

目前主要是通过智能售货设备中的多角度摄像头对用户购买商品的过程进行拍摄和记录，利用视觉检测算法对拍摄到的物品进行实时跟踪检测，自动识别出用户所购买的商品，进而根据识别结果从对应的用户账户中扣除相应的金额。

由于在整个购买过程中，周围环境变化较为复杂，以及整个购买过程时长的不可控，从而导致视觉检测算法除了会识别出用户所购买的实际商品之外，还会识别到其他无关的商品，从而对检测出用户真正购买的商品产生巨大的干扰，导致商品的检测结果准确性较差。

发明内容

本公开实施例提供了一种物品检测方法、装置、终端及计算机可读存储介质，可以解决相关技术中商品检测结果准确性较差的问题。该技术方案如下：

一方面，提供了一种物品检测方法，该方法包括：

获取智能售货设备内部的多个视频帧和该多个视频帧对应的重力数据；

基于该多个视频帧进行识别，得到多种候选商品以及多种候选商品的商品信息；

基于该多种候选商品、多种候选商品的商品信息和该重力数据，从该多种候选商品中确定目标商品。

在一种可能的实现方式中，该基于该多种候选商品、多种候选商品的商品信息和该重力数据，从该多种候选商品中确定目标商品包括：

根据该多种候选商品的商品信息和该重力数据，确定该多种候选商品的优先级分数；

将该多种候选商品中优先级分数满足目标条件的候选商品，确定为该目标商品。

在一种可能的实现方式中，该根据该多种候选商品的商品信息和该重力数据，确定该多种候选商品的优先级分数包括：

根据该多种候选商品的商品信息，确定该多种候选商品的初始优先级分数；

根据该多种候选商品的重量信息和该重力数据所指示的重量变化信息，对该多种候选商品的初始优先级分数进行调整，得到该多种候选商品的优先级分数。

在一种可能的实现方式中，该基于该多种候选商品、多种候选商品的商品信息和该重力数据，从该多种候选商品中确定目标商品包括：

若该重力数据指示该智能售货设备内部的重量变化次数大于或等于2次，则根据重量变化时刻，对该多个视频帧进行分段，得到至少两个视频帧组，一个视频帧组对应于一次重力变化；

基于相邻视频帧组中时序在前的视频帧组所确定的第一目标商品和时序在后的视频帧组所确定的第二目标商品，确定目标商品。

在一种可能的实现方式中，该基于相邻视频帧组中时序在前的视频帧组所确定的第一目标商品和时序在后的视频帧组所确定的第二目标商品，确定目标商品包括：

对于时序相邻的第一视频帧组和第二视频帧组，确定该第一视频帧组的第一目标商品，该第一目标商品为优先级分数满足目标条件的候选商品；

确定该第二视频帧组的第二目标商品，该第二目标商品为优先级分数满足目标条件的候选商品；

将该第一目标商品和该第二目标商品确定为该目标商品。

在一种可能的实现方式中，该基于该多种候选商品、多种候选商品的商品信息和该重力数据，从该多种候选商品中确定目标商品之后，该方法还包括：

根据该重力数据，确定重力变化数据；

确定该重力变化数据与该目标商品的重量信息的差值；

将该差值与目标阈值进行比较；

若该差值大于目标阈值，则基于该重力变化数据，重新确定该目标商品；

若该差值小于或等于目标阈值，则确定目标商品确认无误。

一方面，提供了一种物品检测装置，该装置包括：

获取模块，用于获取智能售货设备内部的多个视频帧和该多个视频帧对应的重力数据；

识别模块，用于基于该多个视频帧进行识别，得到多种候选商品以及多种候选商品的商品信息；

商品确定模块，用于基于该多种候选商品、多种候选商品的商品信息和该重力数据，从该多种候选商品中确定目标商品。

在一种可能的实现方式中，该装置还包括：

分数确定模块，用于根据该多种候选商品的商品信息和该重力数据，确定该多种候选商品的优先级分数；

该商品确定模块，还用于将该多种候选商品中优先级分数满足目标条件的候选商品，确定为该目标商品。

在一种可能的实现方式中，该分数确定模块，还用于根据该多种候选商品的商品信息，确定该多种候选商品的初始优先级分数；

该装置还包括：

调整模块，用于根据该多种候选商品的重量信息和该重力数据所指示的重量变化信息，对该多种候选商品的初始优先级分数进行调整，得到该多种候选商品的优先级分数。

在一种可能的实现方式中，该装置还包括：

分段模块，用于若该重力数据指示该智能售货设备内部的重量变化次数大于或等于2次，则根据重量变化时刻，对该多个视频帧进行分段，得到至少两个视频帧组，一个视频帧组对应于一次重力变化；

该商品确定模块，还用于基于相邻视频帧组中时序在前的视频帧组所确定的第一目标商品和时序在后的视频帧组所确定的第二目标商品，确定目标商品。

在一种可能的实现方式中，该商品确定模块，还用于对于时序相邻的第一视频帧组和第二视频帧组，确定该第一视频帧组的第一目标商品，该第一目标商品为优先级分数满足目标条件的候选商品；

该商品确定模块，还用于确定该第二视频帧组的第二目标商品，该第二目标商品为优先级分数满足目标条件的候选商品；

该商品确定模块，还用于将该第一目标商品和该第二目标商品确定为该目标商品。

在一种可能的实现方式中，该装置还包括：

数据确定模块，用于根据该重力数据，确定重力变化数据；

差值确定模块，用于确定该重力变化数据与该目标商品的重量信息的差值；

比较模块，用于将该差值与目标阈值进行比较；

该商品确定模块，还用于若该差值大于目标阈值，则基于该重力变化数据，重新确定该目标商品；

确定模块，用于若该差值小于或等于目标阈值，则确定目标商品确认无误。

一方面，提供了一种终端，该终端包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条程序代码，该程序代码由该一个或多个处理器加载并执行以实现该物品检测方法所执行的操作。

一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，该程序代码由处理器加载并执行以实现该物品检测方法所执行的操作。

本公开提供的方案，通过获取智能售货设备内部的多个视频帧及其对应的重力数据，基于这多个视频帧进行识别，得到多种候选商品以及多种候选商品的商品信息，基于该多种候选商品、多种候选商品的商品信息和重力数据，从多种候选商品中确定目标商品。通过结合重力变化信息进行用户所购买商品的确定，可以对候选商品进行进一步筛选，避免产生干扰，提高商品检测结果的准确性。

附图说明

为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本公开实施例提供的一种物品检测方法的实施环境示意图；

图2是本公开实施例提供的一种物品检测方法的流程图；

图3是本公开实施例提供的一种物品检测方法的流程图；

图4是本公开实施例提供的一种物品检测方法的原理示意图；

图5是本公开实施例提供的一种物品检测装置的结构示意图；

图6是本公开实施例提供的一种终端的结构示意图；

图7是本公开实施例提供的一种服务器的结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。

为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。

图1是本公开实施例提供的一种物品检测方法的实施环境示意图，参见图1，该实施环境包括：终端101、采集设备102和服务器103。

终端101可以具有通信功能，能够接入互联网，终端101可以为处理设备、台式计算机、智能设备、笔记本电脑等设备中的至少一种，终端101可以安装在智能售货设备的柜体上。终端101可以泛指多个终端中的一个，本实施例仅以终端101来举例说明。本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以仅为几个，或者上述终端为几十个或几百个，或者更多数量，本公开实施例对终端的数量和设备类型均不加以限定。

采集设备102可以为摄像头、重力传感器等部件，采集设备101安装在智能零售柜的内部，采集设备102可以与终端101相互连接。

服务器103可以为一台服务器、一个服务器组、云计算平台和虚拟化中心中的至少一种，服务器103可以与终端101建立通信。

在本公开实施例中，该物品检测方法可以只由终端101执行。如采集设备102采集到智能售货设备内的视频后，可以提供终端101所需的视频，终端101可以采用本公开实施例的方法，对视频中每一帧的图像中的物品进行识别，根据识别出的结果，结合该智能售货设备中重力传感器检测到的重力数据，确定用户拿走的物品。

或者，该物品检测方法也可以由终端101和服务器103共同执行。如采集设备102采集到智能售货设备内的视频后，将视频发送给终端101，终端101可以向服务器103发送物品检测请求，服务器103可以采用本公开实施例的方法，对视频中每一帧的图像中的物品进行识别，根据识别出的结果，结合该智能售货设备中重力传感器检测到的重力数据，确定用户拿走的物品。

对于上述任一种执行方式，均可以进行如下操作，当用户操作用户终端扫码开柜后，智能售货设备对应的终端101可以与用户终端连接，在用户挑选想要的物品的过程中，终端101可以根据上述物品检测方法，对智能售货设备内的物品进行检测，并确定被用户拿走的物品，根据终端101中本地存储的各种物品的商品信息，确定用户拿走的商品的价格，进而连接到用户终端，实现智能扣款。

图2是本公开实施例提供的一种物品检测方法的流程图，参见图2，该方法包括：

201、获取智能售货设备内部的多个视频帧和该多个视频帧对应的重力数据。

202、基于该多个视频帧进行识别，得到多种候选商品以及多种候选商品的商品信息。

203、基于该多种候选商品、多种候选商品的商品信息和该重力数据，从该多种候选商品中确定目标商品。

本公开实施例提供的方案，通过获取智能售货设备内部的多个视频帧及其对应的重力数据，基于这多个视频帧进行识别，得到多种候选商品以及多种候选商品的商品信息，基于该多种候选商品、多种候选商品的商品信息和重力数据，从多种候选商品中确定目标商品。通过结合重力变化信息进行用户所购买商品的确定，可以对候选商品进行进一步筛选，避免产生干扰，提高商品检测结果的准确性。

在一种可能的实现方式中，该基于该多种候选商品、多种候选商品的商品信息和该重力数据，从该多种候选商品中确定目标商品包括：

根据该多种候选商品的商品信息和该重力数据，确定该多种候选商品的优先级分数；

将该多种候选商品中优先级分数满足目标条件的候选商品，确定为该目标商品。

在一种可能的实现方式中，该根据该多种候选商品的商品信息和该重力数据，确定该多种候选商品的优先级分数包括：

根据该多种候选商品的商品信息，确定该多种候选商品的初始优先级分数；

根据该多种候选商品的重量信息和该重力数据所指示的重量变化信息，对该多种候选商品的初始优先级分数进行调整，得到该多种候选商品的优先级分数。

在一种可能的实现方式中，该基于该多种候选商品、多种候选商品的商品信息和该重力数据，从该多种候选商品中确定目标商品包括：

若该重力数据指示该智能售货设备内部的重量变化次数大于或等于2次，则根据重量变化时刻，对该多个视频帧进行分段，得到至少两个视频帧组，一个视频帧组对应于一次重力变化；

基于相邻视频帧组中时序在前的视频帧组所确定的第一目标商品和时序在后的视频帧组所确定的第二目标商品，确定目标商品。

在一种可能的实现方式中，该基于相邻视频帧组中时序在前的视频帧组所确定的第一目标商品和时序在后的视频帧组所确定的第二目标商品，确定目标商品包括：

对于时序相邻的第一视频帧组和第二视频帧组，确定该第一视频帧组的第一目标商品，该第一目标商品为优先级分数满足目标条件的候选商品；

确定该第二视频帧组的第二目标商品，该第二目标商品为优先级分数满足目标条件的候选商品；

将该第一目标商品和该第二目标商品确定为该目标商品。

在一种可能的实现方式中，该基于该多种候选商品、多种候选商品的商品信息和该重力数据，从该多种候选商品中确定目标商品之后，该方法还包括：

根据该重力数据，确定重力变化数据；

确定该重力变化数据与该目标商品的重量信息的差值；

将该差值与目标阈值进行比较；

若该差值大于目标阈值，则基于该重力变化数据，重新确定该目标商品；

若该差值小于或等于目标阈值，则确定目标商品确认无误。

上述图2所示仅为本公开的基本流程，下面基于该物品检测方法的具体流程来进行介绍，参见图3，图3是本公开实施例提供的一种物品检测方法的流程图，该方法包括：

301、终端获取智能售货设备内部的多个视频帧和该多个视频帧对应的重力数据。

其中，该智能售货设备内部可以设置有多个摄像头组件，例如，该智能售货设备内部可以有4个摄像头组件，该4个摄像头组件可以分为2组设置于该智能售货设备内部，其中第一组摄像头组件可以位于柜体的右上角，第二组摄像头组件可以位于柜体的左下角，进而可以较为全面地获取到智能售货设备的内部情况。在一些其他的可能实现方式中，该摄像头组件的数量还可以更多或者更少，位置也可以根据实际拍摄需求、精度等来进行调整，本公开实施例对此不加以限定。该智能设备内部可以设置有一个或多个重力传感器，例如，该智能售货设备可以仅在柜体的底部设置有一个重力传感器，来获取智能售货设备中所有商品的重力数据，可选地，该智能售货设备还可以在每一个商品对应的位置处设置一个重力传感器，来准确测量该位置处的重力数据，本公开实施例对重力传感器的设置方式不加以限定。下面仅以在柜体的底部设置有一个重力传感器为例进行说明。

需要说明的是，用户可以使用用户终端扫描智能售货设备上的二维码，用户终端根据扫描到的二维码，自动跳转到该智能售货设备对应的授权界面，用户可以在该授权界面开通免密支付，允许该智能售货设备对应的终端从该用户的账户中自动扣款，完成授权后，用户终端即可以向智能售货设备的终端发送用户购买请求，智能售货设备的终端接收到该用户购买请求后，即可以控制智能售货设备自动打开柜门，以便用户进行后续的购买操作。

在一种可能的实现方式中，终端可以通过摄像头组件来进行视频数据的采集，从而得到该智能售货设备内部的多个视频帧，可以通过重力传感器来进行重力数据的获取，重力传感器可以以数值的形式对该重力数据进行表示，并且可以实时记录下各个时刻重力传感器的数值及对应的时间信息，根据时间信息，将视频帧序号和该帧对应的重力传感器的数值记录在列表中，可选地，终端还可以选择其他存储结构来进行视频帧序号和重力数据的记录，本公开实施例对此不加以限定。

需要说明的是，该重力数据可以为智能售货设备中所有商品的重力信息，通过该重力数据即可以确定重力变化情况，进而可以确定用户所拿取的商品的重量和时间点。

302、终端基于该多个视频帧进行识别，得到多种候选商品以及多种候选商品的商品信息。

在一种可能的实现方式中，终端可以利用视觉检测算法，将获取到的多个视频帧逐个输入到图像识别模型中，来对各个视频帧中的物品进行识别，得到多种候选商品以及多种候选商品的商品信息。可选地，终端还可以采用其他方法来进行视频帧的识别，本公开实施例对此不加以限定。

其中，该商品信息可以包括商品类别信息、分类置信度信息及位置信息等，可选地，该商品信息还可以包括其他类型的信息，例如，商品的轨迹跟踪信息、商品的前后背景变化信息等，本公开实施例对此不加以限定。需要强调的是，该分类置信度信息可以为该商品类别存在的概率，该商品类别存在的概率越高，则分类置信度越高。

需要说明的是，终端在通过图像识别模型识别出每个视频帧中包括的商品后，可以按照时间顺序，将识别出的结果和对应的视频帧序号保存在列表中，可选地，终端还可以选择其他存储结构来进行视频帧序号和识别结果的存储，本公开实施例对此不加以限定。其中，该存储视频帧序号和识别结果的列表与步骤301中存储视频帧序号和重力传感器数值的列表，可以为两个列表，在其他可能的实现方式中，这两个列表还可以为同一个列表，本公开实施例对此不加以限定。在用户拿取商品完成关闭柜门后，终端可以在检测到该柜门关闭信号后，开始基于列表中存储的内容对商品进行组合，终端可以根据所记录的重力数据，对每次重力变化对应的各个视频帧中的商品进行组合，将各个可能商品组合的重量信息与重力变化信息进行比较，若各个可能商品组合的重量信息与重力变化信息差值小于或等于预设的差值阈值，则认为该组合合理，若差值大于预设的差值阈值，则该组合不合理，排除掉该组合，只保留合理的商品组合，作为该候选商品组合。例如，在柜门打开至关闭的过程中，若第一次重力变化对应的各个视频帧中共检测到了A、B、C三种商品，但由于可能存在误检或遮挡的问题，因此可以基于获取到的商品种类，结合该次重力变化对应的重力数据，确定满足条件的候选商品组合。若商品A的重量为50克，商品B的重量为60克，商品C的重量为70克，重力数据指示第一次重力变化信息为125克，候选商品组合的重量信息与重量变化信息的差值阈值为15克，则终端可以确定出有AB、AC、BB、BC、CC五种商品组合，其中，该目标阈值还可以为其他取值，本公开实施例对此不加以限定。该识别过程可以与步骤301中多个视频帧和该多个视频帧对应的重力数据的获取过程同步进行。

其中，由于该智能售货设备中的商品类别较多，由此组合成的商品组合数量更多，因此通过结合各个片段的重力变化信息，来确定候选商品组合，可以降低后续进行优先级分数计算时的数据处理量，提高检测速度。

303、若该重力数据指示该智能售货设备内部的重量变化次数大于或等于2次，则终端根据重量变化时刻，对该多个视频帧进行分段，得到至少两个视频帧组，一个视频帧组对应于一次重力变化。

需要说明的是，终端可以通过计算重力变化情况，来对该多个视频帧进行分段。在用户购买过程中，重力传感器数值会发生多次变化，当用户拿出商品时，重力传感器数值变小，当用户放回商品时，重力传感器数值变大，当用户停止拿取商品时，重力传感器数值处于稳定状态。由于重力传感器数值在智能售货设备中重力未稳定时会处于小幅度波动状态，因此在计算重力变化值时，可以根据该重力发生变化的时刻的重力数据，以及该时刻后的相邻时刻的重力数据，计算该时刻与相邻时刻的重力波动值，当该重力波动值小于或等于预设的重力波动阈值时，则确定重力变化处于稳定状态，则可以根据该重力发生变化的时刻及相邻时刻的重力数据，计算重力变化值；当该重力波动值大于预设的重力波动阈值时，则可以确定该重力变化未稳定，可能是用户在拿起商品后又将其放回，因而可以自动忽略该重力变化过程，继续对下一个重力变化时刻进行处理，计算下一个重力变化时刻的重力变化值。

在一种可能的实现方式中，若终端根据计算出的重力变化情况，确定该智能售货设备内部的重量变化次数大于或等于2次，终端可以将重力数值发生变化的时刻作为对视频帧进行分段的依据，来对该多个视频帧进行分段，例如，图4是本公开实施例提供的一种物品检测方法的原理示意图，参见图4，该图4中包括两次重力变化，终端可以将视频起始时刻对应的视频帧作为第一个视频帧组的起点，将位于第一个重力数值发生变化的时刻的视频帧后两个视频帧处的位置作为该第一个视频帧组的终点，同时，该位置也是下一个视频帧组的起点，并将位于第二个重力数值发生变化的时刻的视频帧后两个视频帧处的位置作为该第二个视频帧组的终点，以此类推，利用对应的视频帧序号，即可以实现对视频帧的分段过程，得到至少两个视频帧组，由此，可以将整个购买过程划分成不同的小片段，其中，一个视频帧组对应于一次重力变化，因而每个片段包括小范围的识别结果和单个重力变化情况。可选地，某个视频帧组的终点的位置，与重力发生变化的时刻对应的视频帧的距离，还可以为其他数量的视频帧，本公开实施例对此不加以限定。

需要说明的是，除了利用重力变化信息作为分段依据外，还可以利用红外线触发，来对商品拿出和放回的时间点进行判断，进而将该时间点作为分段的依据，本公开实施例对具体采用哪种方式不加以限定。

304、对于时序相邻的第一视频帧组和第二视频帧组，终端根据第一视频帧组中多种候选商品的商品信息和重力数据，确定该第一视频帧组中多种候选商品的优先级分数。

其中，该第一视频帧组和第二视频帧组仅为时序相邻的两个视频帧组，对于一次用户打开柜门至关闭柜门的过程中，可以有多个视频帧组，相邻两个视频帧组中时序在前的即可称为第一视频帧组，时序在后的即可称为第二视频帧组，该“第一”、“第二”仅为对时序相邻的两个视频帧组时序先后的限定，本公开实施例对视频帧组的个数并不加以限定。

需要说明的是，相关技术人员可以预先对柜内商品的重量进行采集，具体可以对各类商品中不同商品个体的重量进行测量，并确定同种商品中不同商品个体的重量平均值，将该平均值作为该类商品的重量信息。

在一种可能的实现方式中，对于时序相邻的第一视频帧组和第二视频帧组，终端可以根据第一视频帧组中该多种候选商品的商品信息，确定该多种候选商品的初始优先级分数，根据该多种候选商品的重量信息和该重力数据所指示的重力变化信息，对该多种候选商品的优先级分数进行调整，得到该多种候选商品的优先级分数。

在另一种可能的实现方式中，对于时序相邻的第一视频帧组和第二视频帧组，终端还可以根据第一视频帧组中该多种候选商品的商品信息、该多种候选商品的重量信息和该重力数据所指示的重力变化信息，直接确定出该多种候选商品的优先级分数。

需要说明的是，终端可以通过特定的优先级公式，来对各种商品的匹配程度和优先级分数进行计算，本公开实施例对具体采用哪种优先级公式不加以限定。但由于客观原因，同种商品类别中不同商品个体的重量可能存在一定偏差，或者重力传感器提供数据可能存在一定误差，因此不能完全依赖重力变化值来对候选商品进行筛选，而是结合商品信息来进行综合计算，进而实现目标商品的确定。例如，可以根据商品的重量信息、分类置信度信息、位置信息等，来实现优先级分数的确定，若检测到该商品的置信度越高，位置越靠近柜体，该商品被检测到的次数越多，商品重量与重力变化值越接近，则该商品的优先级分数越高。此外，在进行优先级分数的确定时，还可以加入商品的轨迹跟踪信息、商品前后背景变化信息、用户手部信息等，来进一步提高确定出的优先级分数的准确性。

305、终端将该第一视频帧组的多种候选商品中优先级分数满足目标条件的候选商品，确定为第一目标商品。

在一种可能的实现方式中，终端可以将该第一视频帧组的多种候选商品中，优先级分数最高的候选商品，确定为第一目标商品。

需要说明的是，在确定出第一目标商品后，可以通过与步骤309至步骤313相似的步骤，对确定出的第一目标商品进行校验，终端可以根据该重力数据所指示的重力变化信息，确定第一个视频帧组中重力变化的具体数值，进而确定出其与第一目标商品的实际重量的差值，若该差值大于目标阈值，则可以认为商品识别结果出现误差，则可以仅利用重力变化值，对柜内所有商品进行重力融合匹配，逐个对比该重力变化值与各个商品重量信息的相似度，将该相似度最高的商品确定为最终的第一目标商品，若该差值小于或等于目标阈值，则可以认为确定该第一目标商品准确性较高，可以继续执行后续步骤。

306、终端根据该第二视频帧组中多种候选商品的商品信息和重力数据，确定该第二视频帧组中多种候选商品的优先级分数。

需要说明的是，该优先级分数的确定过程与步骤304类似，此处不再赘述。

307、终端将该第二视频帧组中多种候选商品中优先级分数满足目标条件的候选商品，确定为第二目标商品。

需要说明的是，该第二目标商品的确定过程与步骤305类似，此处不再赘述。

308、终端将该第一目标商品和第二目标商品确定为目标商品。

在一种可能的实现方式中，终端可以将该多个第二候选商品组合中优先级分数最高的候选商品组合，确定为该目标商品。

需要说明的是，在确定出用户此次购买的目标商品后，终端可以对该目标商品的准确性进行校验，通过对比目标商品的重量与实际开门前后重力传感器的数值变化值之间的差值，可以对目标商品的准确性进行校验，具体校验过程及对应的后续步骤可以参见步骤309至步骤313。

309、终端根据该重力数据，确定重力变化数据。

在一种可能的实现方式中，终端可以根据记录的重力数据，确定开门前后的重力传感器数值变化值，也即是，第一视频帧组和第二视频帧组对应的总的重力变化数据。

310、终端确定该重力变化数据与该目标商品的重量信息的差值。

311、终端将该差值与目标阈值进行比较。

需要说明的是，该目标阈值可以为任意取值，具体取值可以根据实际情况确定，本公开实施例对此不加以限定。

312、若该差值大于目标阈值，则终端基于该重力变化数据，重新确定该目标商品。

在一种可能的实现方式中，若该差值大于目标阈值，则终端可以将该重力变化数据与柜中所有商品组合的重量进行比较，将重量最接近该重力变化数据的商品组合确定为目标商品，也即是，用户在整个购买过程中，实际购买拿走的商品。

313、若该差值小于或等于目标阈值，则终端确定目标商品确认无误。

需要说明的是，在最终确定出目标商品后，终端可以对本地存储中的商品信息进行检索，从而确定出该目标商品的价格，根据该目标商品的价格，从该用户终端的账户中扣除相应的金额，实现付款。

本公开实施例提供的方案，通过结合重力变化信息进行用户所购买商品的确定，可以对候选商品进行进一步筛选，避免产生干扰，提高商品检测结果的准确性。本方案通过摄像头组件和重力传感器来动态地对用户购买过程进行分析，通过分段融合模型识别结果和重力变化信息，可以同步不同时间段的模型识别结果和重力变化信息，来对整个购买过程进行分段处理，将一个大的检测任务分割成多个难度较小的小任务，每个小任务负责小范围内的商品检测，从而可以降低检测的难度，提高检测的准确度，进而可以提高整个智能售货系统的生单正确率，减少误识别订单，提供更好的用户购买体验。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

图5是本公开实施例提供的一种物品检测装置的结构示意图，参见图5，该装置包括：

获取模块501，用于获取智能售货设备内部的多个视频帧和该多个视频帧对应的重力数据；

识别模块502，用于基于该多个视频帧进行识别，得到多种候选商品以及多种候选商品的商品信息；

商品确定模块503，用于基于该多种候选商品、多种候选商品的商品信息和该重力数据，从该多种候选商品中确定目标商品。

上述装置通过获取智能售货设备内部的多个视频帧及其对应的重力数据，基于这多个视频帧进行识别，得到多种候选商品以及多种候选商品的商品信息，基于该多种候选商品、多种候选商品的商品信息和重力数据，从多种候选商品中确定目标商品。本公开通过结合重力变化信息进行用户所购买商品的确定，可以对候选商品进行进一步筛选，避免产生干扰，提高商品检测结果的准确性。

在一种可能的实现方式中，该装置还包括：

分数确定模块，用于根据该多种候选商品的商品信息和该重力数据，确定该多种候选商品的优先级分数；

该商品确定模块503，还用于将该多种候选商品中优先级分数满足目标条件的候选商品，确定为该目标商品。

在一种可能的实现方式中，该分数确定模块，还用于根据该多种候选商品的商品信息，确定该多种候选商品的初始优先级分数；

该装置还包括：

调整模块，用于根据该多种候选商品的重量信息和该重力数据所指示的重量变化信息，对该多种候选商品的初始优先级分数进行调整，得到该多种候选商品的优先级分数。

在一种可能的实现方式中，该装置还包括：

分段模块，用于若该重力数据指示该智能售货设备内部的重量变化次数大于或等于2次，则根据重量变化时刻，对该多个视频帧进行分段，得到至少两个视频帧组，一个视频帧组对应于一次重力变化；

该商品确定模块503，还用于基于相邻视频帧组中时序在前的视频帧组所确定的第一目标商品和时序在后的视频帧组所确定的第二目标商品，确定目标商品。

在一种可能的实现方式中，该商品确定模块503，还用于对于时序相邻的第一视频帧组和第二视频帧组，确定该第一视频帧组的第一目标商品，该第一目标商品为优先级分数满足目标条件的候选商品；

该商品确定模块503，还用于确定该第二视频帧组的第二目标商品，该第二目标商品为优先级分数满足目标条件的候选商品；

该商品确定模块503，还用于将该第一目标商品和该第二目标商品确定为该目标商品。

在一种可能的实现方式中，该装置还包括：

数据确定模块，用于根据该重力数据，确定重力变化数据；

差值确定模块，用于确定该重力变化数据与该目标商品的重量信息的差值；

比较模块，用于将该差值与目标阈值进行比较；

该商品确定模块503，还用于若该差值大于目标阈值，则基于该重力变化数据，重新确定该目标商品；

确定模块，用于若该差值小于或等于目标阈值，则确定目标商品确认无误。

需要说明的是：上述实施例提供的物品检测装置在进行物品检测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将终端的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的物品检测装置与物品检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图6是本公开实施例提供的一种终端的结构示意图。该终端600可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端600包括有：一个或多个处理器601和一个或多个存储器602。

处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器601所执行以实现本公开中方法实施例提供的物品检测方法。

在一些实施例中，终端600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：射频电路604、显示屏605、摄像头606、音频电路607、定位组件608和电源609中的至少一种。

外围设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。

显示屏605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置终端600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在终端600的不同表面或呈折叠设计；在再一些实施例中，显示屏605可以是柔性显示屏，设置在终端600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。

摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。

定位组件608用于定位终端600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。

加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器612可以检测终端600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器613可以设置在终端600的侧边框和/或显示屏605的下层。当压力传感器613设置在终端600的侧边框时，可以检测用户对终端600的握持信号，由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在显示屏605的下层时，由处理器601根据用户对显示屏605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器614用于采集用户的指纹，由处理器601根据指纹传感器614采集到的指纹识别用户的身份，或者，由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置终端600的正面、背面或侧面。当终端600上设置有物理按键或厂商Logo时，指纹传感器614可以与物理按键或厂商Logo集成在一起。

光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制显示屏605的显示亮度。具体地，当环境光强度较高时，调高显示屏605的显示亮度；当环境光强度较低时，调低显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。

接近传感器616，也称距离传感器，通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时，由处理器601控制显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时，由处理器601控制显示屏605从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图6中示出的结构并不构成对终端600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图7是本公开实施例提供的一种服务器的结构示意图，该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central Processing Units，CPU)701和一个或多个的存储器702，其中，该一个或多个存储器702中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器701加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器700还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器700还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由处理器执行以完成上述实施例中的物品检测方法。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来程序代码相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述仅为本公开的可选实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种物品检测方法，其特征在于，应用于智能售货设备，所述方法包括：

获取智能售货设备内部的多个视频帧和所述多个视频帧对应的重力数据；

基于所述多个视频帧进行识别，得到多种候选商品以及多种候选商品的商品信息；

基于所述多种候选商品、多种候选商品的商品信息和所述重力数据，从所述多种候选商品中确定目标商品。

2.根据权利要求1所述的方法，其特征在于，所述基于所述多种候选商品、多种候选商品的商品信息和所述重力数据，从所述多种候选商品中确定目标商品包括：

根据所述多种候选商品的商品信息和所述重力数据，确定所述多种候选商品的优先级分数；

将所述多种候选商品中优先级分数满足目标条件的候选商品，确定为所述目标商品。

3.根据权利要求2所述的方法，其特征在于，所述根据所述多种候选商品的商品信息和所述重力数据，确定所述多种候选商品的优先级分数包括：

根据所述多种候选商品的商品信息，确定所述多种候选商品的初始优先级分数；

根据所述多种候选商品的重量信息和所述重力数据所指示的重量变化信息，对所述多种候选商品的初始优先级分数进行调整，得到所述多种候选商品的优先级分数。

4.根据权利要求1所述的方法，其特征在于，所述基于所述多种候选商品、多种候选商品的商品信息和所述重力数据，从所述多种候选商品中确定目标商品包括：

若所述重力数据指示所述智能售货设备内部的重量变化次数大于或等于2次，则根据重量变化时刻，对所述多个视频帧进行分段，得到至少两个视频帧组，一个视频帧组对应于一次重力变化；

基于相邻视频帧组中时序在前的视频帧组所确定的第一目标商品和时序在后的视频帧组所确定的第二目标商品，确定目标商品。

5.根据权利要求4所述的方法，其特征在于，所述基于相邻视频帧组中时序在前的视频帧组所确定的第一目标商品和时序在后的视频帧组所确定的第二目标商品，确定目标商品包括：

对于时序相邻的第一视频帧组和第二视频帧组，确定所述第一视频帧组的第一目标商品，所述第一目标商品为优先级分数满足目标条件的候选商品；

确定所述第二视频帧组的第二目标商品，所述第二目标商品为优先级分数满足目标条件的候选商品；

将所述第一目标商品和所述第二目标商品确定为所述目标商品。

6.根据权利要求1所述的方法，其特征在于，所述基于所述多种候选商品、多种候选商品的商品信息和所述重力数据，从所述多种候选商品中确定目标商品之后，所述方法还包括：

根据所述重力数据，确定重力变化数据；

确定所述重力变化数据与所述目标商品的重量信息的差值；

将所述差值与目标阈值进行比较；

若所述差值大于目标阈值，则基于所述重力变化数据，重新确定所述目标商品；

若所述差值小于或等于目标阈值，则确定目标商品确认无误。

7.一种物品检测装置，其特征在于，应用于智能售货设备，所述装置包括：

获取模块，用于获取智能售货设备内部的多个视频帧和所述多个视频帧对应的重力数据；

识别模块，用于基于所述多个视频帧进行识别，得到多种候选商品以及多种候选商品的商品信息；

商品确定模块，用于基于所述多种候选商品、多种候选商品的商品信息和所述重力数据，从所述多种候选商品中确定目标商品。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

分数确定模块，用于根据所述多种候选商品的商品信息和所述重力数据，确定所述多种候选商品的优先级分数；

所述商品确定模块，还用于将所述多种候选商品中优先级分数满足目标条件的候选商品，确定为所述目标商品。

9.一种终端，其特征在于，所述终端包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求6任一项所述的物品检测方法所执行的操作。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如权利要求1至权利要求6任一项所述的物品检测方法所执行的操作。

Images