CN108921081B - 用户操作的检测方法和装置 - Google Patents

Abstract

本发明实施例提供一种用户操作的检测方法和装置，该用户操作的检测方法包括：确定每一个待检测视频片段中目标对象的手部状态信息；其中，手部状态信息为手部伸入货架的状态或手部离开货架的状态，每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态；根据手部状态信息确定每一个待检测视频片段中的目标对象的用户操作。本发明实施例提供的用户操作的检测方法和装置，提高了对用户操作检测的准确度。

Description

用户操作的检测方法和装置

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种用户操作的检测方法和装置。

背景技术

随着无人超市的兴起，如何实现自动结算就显得至关重要。在实现自动结算时，需要对客户的购物行为进行分析，从而确定客户购买的商品。

现有技术中，在对客户的购物行为进行分析时，主要是分析客户的购物动作，是通过将连续视频中的视频片段的第一帧图像与最后一帧图像进行比较，具体是将第一帧图像中的商品与最后一帧图像中的商品进行比较，从而确定客户执行过的拿取商品的操作，进而确定客户购买的商品。

但是，当图像中的商品较多或者商品之间存在遮挡时，采用图像帧中商品比较的方式，使得对客户执行的动作检测的准确度不高。

发明内容

本发明实施例提供一种用户操作的检测方法和装置，以提高对用户操作检测的准确度。

第一方面，本发明实施例提供一种用户操作的检测方法，该用户操作的检测方法可以包括：

确定每一个待检测视频片段中目标对象的手部状态信息；其中，所述手部状态信息为手部伸入货架的状态或手部离开货架的状态，所述每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态；

根据所述手部状态信息确定所述每一个待检测视频片段中的目标对象的用户操作。

在一种可能的实现方式中，所述目标对象的用户操作包括下述任一种：

拿取操作、放回操作、观察操作及更换操作。

在一种可能的实现方式中，所述确定每一个待检测视频片段中目标对象的手部状态信息之前，还包括：

提取待检测视频中所述目标对象的手部状态信息；

根据所述目标对象的手部状态信息将所述待检测视频进行划分，得到所述每一个待检测视频片段。

在一种可能的实现方式中，所述根据所述目标对象的手部状态信息将所述待检测视频进行划分，得到所述每一个待检测视频片段，包括：

根据所述目标对象的第i个手部伸入货架的状态和其对应的手部离开货架的状态将所述待检测视频进行划分，得到第i个待检测视频片段；其中，i为大于等于1的整数。

在一种可能的实现方式中，若所述待检测视频片段中的目标对象的用户操作为拿取操作，所述根据所述手部状态信息确定所述每一个待检测视频片段中的目标对象的用户操作之后，还包括：

确定所述目标对象所拿取的商品；

根据所述商品的价格确定所述目标对象的待付款金额。

在一种可能的实现方式中，所述提取待检测视频中所述目标对象的手部状态信息，包括：

根据预设算法提取待检测视频中的目标对象的手部状态信息；

其中，所述预设算法为卷积神经网络CNN、循环神经网络RNN或光流算法中的至少一种。

第二方面，本发明实施例还提供一种用户操作的检测装置，该用户操作的检测装置可以包括：

确定单元，用于确定每一个待检测视频片段中目标对象的手部状态信息；其中，所述手部状态信息为手部伸入货架的状态或手部离开货架的状态，所述每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态；

所述确定单元，还用于根据所述手部状态信息确定所述每一个待检测视频片段中的目标对象的用户操作。

在一种可能的实现方式中，所述目标对象的用户操作包括下述任一种：

拿取操作、放回操作、观察操作及更换操作。

在一种可能的实现方式中，该用户操作的检测装置还可以包括提取单元和划分单元；

所述提取单元，用于提取待检测视频中所述目标对象的手部状态信息；

所述划分单元，用于根据所述目标对象的手部状态信息将所述待检测视频进行划分，得到所述每一个待检测视频片段。

在一种可能的实现方式中，所述划分单元，具体用于根据所述目标对象的第i个手部伸入货架的状态和其对应的手部离开货架的状态将所述待检测视频进行划分，得到第i个待检测视频片段；其中，i为大于等于1的整数。

在一种可能的实现方式中，若所述待检测视频片段中的目标对象的用户操作为拿取操作；

所述确定单元，还用于确定所述目标对象所拿取的商品；并根据所述商品的价格确定所述目标对象的待付款金额。

在一种可能的实现方式中，所述提取单元，具体用于根据预设算法提取待检测视频中的目标对象的手部状态信息；

其中，所述预设算法为卷积神经网络CNN、循环神经网络RNN或光流算法中的至少一种。

第三方面，本发明实施例还提供一种用户操作的检测装置，用户操作的检测装置可以包括处理器和存储器，其中，

所述存储器用于存储程序指令；

所述处理器用于读取所述存储器中的程序指令，并根据所述存储器中的程序指令执行第一方面任一项所示的用户操作的检测方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，在所述计算机程序被处理器执行时，执行第一方面任一项所示的用户操作的检测方法。

本发明实施例提供的用户操作的检测方法和装置，先确定每一个待检测视频片段中目标对象的手部状态信息；其中，手部状态信息为手部伸入货架的状态或手部离开货架的状态，每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态；再根据手部状态信息确定每一个待检测视频片段中的目标对象的用户操作。由此可见，本发明实施例提供的用户操作的检测方法和装置，是通过目标对象的手部状态信息确定目标对象的用户操作，而无需像现有技术中那样，通过比较图像帧确定用户操作，避免了因图像中的商品较多或者商品之间存在遮挡而导致的对客户执行的动作检测的准确度不高，从而提高了对用户操作检测的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种用户操作的检测方法的流程示意图；

图2为本发明实施例提供的另一种用户操作的检测方法的流程示意图；

图3为本发明实施例提供的一种用户操作的检测装置的结构示意图；

图4为本发明实施例提供的又一种用户操作的检测装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

现有技术中，在对客户的购物行为进行分析时，是通过将连续视频中的视频片段的第一帧图像中的商品与最后一帧图像中的商品进行比较，从而确定客户执行过的拿取商品的操作，但是当图像中的商品较多或者商品之间存在遮挡时，采用图像帧中商品比较的方式，使得对客户执行的动作检测的准确度不高。为了提高对用户操作检测的准确度，本发明实施例提供了一种用户操作的检测方法，是先确定每一个待检测视频片段中目标对象的手部状态信息；其中，手部状态信息为手部伸入货架的状态或手部离开货架的状态，每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态；再根据手部状态信息确定每一个待检测视频片段中的目标对象的用户操作。由此可见，本发明实施例提供的用户操作的检测方法，是通过目标对象的手部状态信息确定目标对象的用户操作，而无需像现有技术中那样，通过比较图像帧确定用户操作，避免了因图像中的商品较多或者商品之间存在遮挡而导致的对客户执行的动作检测的准确度不高，从而提高了对用户操作检测的准确度。

下面以具体的实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

图1为本发明实施例提供的一种用户操作的检测方法的流程示意图，该用户操作的检测方法可以由用户操作的检测装置执行，该用户操作的检测装置可以独立设置，也可以集成在处理器中。示例的，请参见图1所示，该网络配置方法可以包括：

S101、确定每一个待检测视频片段中目标对象的手部状态信息。

其中，手部状态信息为手部伸入货架的状态或手部离开货架的状态，每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态。当手部状态信息为手部伸入货架时，可以理解为目标对象的手伸入货架时手部的状态，该手部的状态可以为手中有商品或者手中没有商品；当手部状态信息为手部离开货架时，可以理解为目标对象的手离开货架时手部的状态，同样的，该手部的状态同样可以为手中有商品或者手中没有商品。

需要说明的是，一个手部伸入货架的状态和其对应的手部分离货架的状态组合起来为一个用户操作，则当待检测视频片段中包括一个手部伸入货架的状态和其对应的手部分离货架的状态时，说明在该待检测视频片段中目标对象执行了一个用户操作；当待检测视频片段中包括两个手部伸入货架的状态和其对应的手部分离货架的状态时，说明在该待检测视频片段中目标对象执行了两个用户操作，以此类推。可选的，目标对象的用户操作包括下述任一种：拿取操作、放回操作、观察操作及更换操作。

S102、根据手部状态信息确定每一个待检测视频片段中的目标对象的用户操作。

在通过S101确定每一个待检测视频片段中目标对象的手部状态信息之后，就可以根据手部状态信息确定目标对象的用户操作，请参见下述表1所示，表1为本发明实施例提供的根据手部状态信息确定每一个待检测视频片段中的目标对象的用户操作的示意图。

表1

	手部伸入货架的状态	手部离开货架的状态
			拿取操作	空手	非空手
放回操作	非空手	空手
			观察操作	空手	空手
更换操作	非空手	非空手

结合表1可以看出，当手部伸入货架的状态为空手，手部离开货架的状态为非空手时，则确定目标对象执行的用户操作为拿取操作，即目标对象在货架上拿取了一个商品；当手部伸入货架的状态为非空手，手部离开货架的状态为空手时，则确定目标对象执行的用户操作为放回操作，即目标对象往货架上放回了一个商品；当手部伸入货架的状态为空手，手部离开货架的状态为空手时，则确定目标对象执行的用户操作为观察操作，即目标对象在货架上拿了一个商品观察了一下又放下；当手部伸入货架的状态为非空手，手部离开货架的状态为非空手时，则确定目标对象执行的用户操作为更换操作，即目标对象把之前拿取的商品更换为另一个商品，从而根据手部状态信息确定每一个待检测视频片段中的目标对象的用户操作，而无需像现有技术中那样，通过比较图像帧确定用户操作，避免了因图像中的商品较多或者商品之间存在遮挡而导致的对客户执行的动作检测的准确度不高，从而提高了对用户操作检测的准确度。

本发明实施例提供的用户操作的检测方法，先确定每一个待检测视频片段中目标对象的手部状态信息；其中，手部状态信息为手部伸入货架的状态或手部离开货架的状态，每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态；再根据手部状态信息确定每一个待检测视频片段中的目标对象的用户操作。由此可见，本发明实施例提供的用户操作的检测方法，是通过目标对象的手部状态信息确定目标对象的用户操作，而无需像现有技术中那样，通过比较图像帧确定用户操作，避免了因图像中的商品较多或者商品之间存在遮挡而导致的对客户执行的动作检测的准确度不高，从而提高了对用户操作检测的准确度。

基于图1所示的实施例，为了更清楚地说明本发明提供的用户操作的检测方法，请参见图2所示，图2为本发明实施例提供的另一种用户操作的检测方法的流程示意图，该用户操作的检测方法还可以包括：

S201、提取待检测视频中目标对象的手部状态信息。

其中，手部状态信息为手部伸入货架的状态或手部离开货架的状态。待检测视频可以理解为目标对象一次完整的视频，该完整的视频中可以包括至少一个用户操作，且该待检测视频可以分为一个或多个待检测视频片段，每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态。

可选的，在本发明实施例中，S101提取待检测视频中目标对象的手部状态信息，可以包括：

根据预设算法提取待检测视频中的目标对象的手部状态信息；其中，预设算法为卷积神经网络(Convolutional Neural Network，CNN)、循环神经网络(Recurrent NeuralNetwork，RNN)或光流算法中的至少一种。

需要说明的是，在本发明实施例中，在根据预设算法提取待检测视频中的目标对象的手部状态信息时，可以根据CNN、RNN及光流算法中的任一种方法提取待检测视频中的目标对象的手部状态信息；也可以根据CNN、RNN及光流算法中的任意两种方法的组合提取待检测视频中的目标对象的手部状态信息；当然，也可以根据CNN、RNN及光流算法三种方法的组合提取待检测视频中的目标对象的手部状态信息。当然，本发明实施例只是以预设算法为CNN、RNN及光流算法中的至少一种为例进行说明，也可以为其他算法，只要能根据该算法提取到待检测视频中的目标对象的手部状态信息即可。

在通过S201提取待检测视频中目标对象的手部状态信息之后，就可以执行下述S202：

S202、根据目标对象的手部状态信息将待检测视频进行划分，得到每一个待检测视频片段。

可选的，在本发明实施例中，S202根据目标对象的手部状态信息将待检测视频进行划分，得到每一个待检测视频片段，可以包括：

根据目标对象的第i个手部伸入货架的状态和其对应的手部离开货架的状态将待检测视频进行划分，得到第i个待检测视频片段；其中，i为大于等于1的整数。

需要说明的是，在本发明实施例中，在根据目标对象的手部状态信息对待检测视频进行划分时，可以使得划分后的每一个待检测视频片段中只包括一个用户操作，即可以根据目标对象的第i个手部伸入货架的状态和其对应的手部离开货架的状态将待检测视频进行划分，将包括第i个手部伸入货架的状态和其对应的手部离开货架的状态确定为第i个待检测视频片段；也可以使得划分后的每一个待检测视频片段中包括两个用户操作，即可以根据目标对象的将待检测视频进行划分，将包括第i个手部伸入货架的状态和其对应的手部离开货架的状态，及第i+1个手部伸入货架的状态和其对应的手部离开货架的状态确定为第i个待检测视频片段；依次类推，从而得到划分后的待检测视频片段。

在通过S202根据目标对象的手部状态信息将待检测视频进行划分，得到每一个待检测视频片段之后，就可以执行下述S203：

S203、确定每一个待检测视频片段中目标对象的手部状态信息。

其中，手部状态信息为手部伸入货架的状态或手部离开货架的状态，每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态。

S204、根据手部状态信息确定每一个待检测视频片段中的目标对象的用户操作。

需要说明的是，此处的S203和S204中的描述可参见上述图1所示的实施例中的S101和S102，在此，本发明实施例不再进行赘述。

在确定手部状态信息之后，就可以根据手部状态信息确定每一个待检测视频片段中的目标对象的用户操作。由此可见，本发明实施例提供的用户操作的检测方法，是通过目标对象的手部状态信息确定目标对象的用户操作，而无需像现有技术中那样，通过比较图像帧确定用户操作，避免了因图像中的商品较多或者商品之间存在遮挡而导致的对客户执行的动作检测的准确度不高，从而提高了对用户操作检测的准确度。

需要说明的是，当发明实施例所示的用户操作的检测方法应用于无人超市时，可选的，在S204根据手部状态信息确定每一个待检测视频片段中的目标对象的用户操作之后，若待检测视频片段中的目标对象的用户操作为拿取操作，则该用户操作的检测方法还可以包括：

S205、确定目标对象所拿取的商品。

在根据目标对象的手部状态信息确定待检测视频中的目标对象的用户操作为拿取操作时，可以进一步确定目标对象所拿取的商品，例如，目标对象总共执行了五次拿取操作，则可以根据每一个拿取操作确定目标对象所拿取的商品。

S206、根据商品的价格确定目标对象的待付款金额。

在分别确定目标对象所拿取的商品之后，就可以根据目标对象所拿取的商品的价格确定目标对象的待付款金额。例如，张三执行的五次拿取操作所拿取的商品分别为商品A、商品B、商品C、商品D及商品E，则在确定张三拿取操作所拿取的商品A、商品B、商品C、商品D及商品E之后，就可以根据商品A、商品B、商品C、商品D及商品E各自的价格，计算确定张三的待付款金额，与现有技术相比，可以实现自动结算，无需通过人工收银环节，从而减少了客户操作，提高了客户的购物效率。

在实际应用过程中，示例的，以目标对象为张三在某无人超市购物为例，若张三在超市的某一段视频进行了五次用户操作，可以先根据张三的手部状态信息将该段视频划分为五个视频片段。具体为：在第一个视频片段中，张三手部伸入货架的时候手中为空，手部离开货架的时候手中拿了商品A，说明张三执行了拿取商品A的操作；在第二个视频片段中，张三手部伸入货架的时候手中为空，手部离开货架的时候手中也为空，说明张三可能拿取了某商品看了一下又放回货架，即张三执行了观察操作，在第三个视频片段中，张三手部伸入货架的时候手中为空，手部离开货架的时候手中拿了商品B，说明张三执行了拿取商品B的操作；在第四个视频片段中，张三手部伸入货架的时候手中拿着商品A，手部离开货架的时候手中拿了商品C，说明张三将商品A换成了商品C，执行了更换商品的操作；在五个视频片段中，张三手部伸入货架的时候手中拿着商品C，手部离开货架的时候手中为空，说明张三将商品C放回货架，执行了放回商品的操作，则可以得到，在该段视频中，张三经过多次用户操作之后，只拿取了商品B，在确定张三只拿取操作所拿取的商品B之后，就可以根据商品B的价格，计算确定张三的待付款金额，与现有技术相比，可以实现自动结算，无需通过人工收银环节，从而减少了客户操作，提高了客户的购物效率。

图3为本发明实施例提供的一种用户操作的检测装置30的结构示意图，请参见图3所示，该用户操作的检测装置30可以包括：

确定单元301，用于确定每一个待检测视频片段中目标对象的手部状态信息；其中，手部状态信息为手部伸入货架的状态或手部离开货架的状态，每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态。

确定单元301，还用于根据手部状态信息确定每一个待检测视频片段中的目标对象的用户操作。

可选的，目标对象的用户操作包括下述任一种：

拿取操作、放回操作、观察操作及更换操作。

可选的，该用户操作的检测装置30还可以包括提取单元302和划分单元303。

提取单元302，用于提取待检测视频中目标对象的手部状态信息。

划分单元303，用于根据目标对象的手部状态信息将待检测视频进行划分，得到每一个待检测视频片段。

可选的，划分单元303，具体用于根据目标对象的第i个手部伸入货架的状态和其对应的手部离开货架的状态将待检测视频进行划分，得到第i个待检测视频片段；其中，i为大于等于1的整数。

可选的，若待检测视频片段中的目标对象的用户操作为拿取操作；确定单元301，还用于确定目标对象所拿取的商品；并根据商品的价格确定目标对象的待付款金额。

可选的，提取单元302，具体用于根据预设算法提取待检测视频中的目标对象的手部状态信息。

其中，预设算法为卷积神经网络CNN、循环神经网络RNN或光流算法中的至少一种。

本发明实施例所示的用户操作的检测装置30，可以执行上述任一实施例所示的用户操作的检测方法的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

图4为本发明实施例提供的又一种用户操作的检测装置40的结构示意图，请参见图4所示，该用户操作的检测装置40可以包括处理器401和存储器402，其中，

存储器402用于存储程序指令。

处理器401用于读取存储器402中的程序指令，并根据存储器402中的程序指令执行上述任一实施例所示的用户操作的检测方法。

本发明实施例所示的用户操作的检测装置40，可以执行上述任一实施例所示的用户操作的检测方法的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，在计算机程序被处理器执行时，执行上述任一实施例所示的用户操作的检测方法，其实现原理以及有益效果类似，此处不再进行赘述。

上述实施例中处理器可以是通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的指令，结合其硬件完成上述方法的步骤。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (12)

1.一种用户操作的检测方法，其特征在于，包括：

确定每一个待检测视频片段中目标对象的手部状态信息；其中，所述手部状态信息为手部伸入货架的状态或手部离开货架的状态，所述每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态；

根据所述手部状态信息确定所述每一个待检测视频片段中的目标对象的用户操作；

所述确定每一个待检测视频片段中目标对象的手部状态信息之前，还包括：

提取待检测视频中所述目标对象的手部状态信息；

根据所述目标对象的手部状态信息将所述待检测视频进行划分，得到所述每一个待检测视频片段。

2.根据权利要求1所述的方法，其特征在于，

所述目标对象的用户操作包括下述任一种：

拿取操作、放回操作、观察操作及更换操作。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标对象的手部状态信息将所述待检测视频进行划分，得到所述每一个待检测视频片段，包括：

根据所述目标对象的第i个手部伸入货架的状态和其对应的手部离开货架的状态将所述待检测视频进行划分，得到第i个待检测视频片段；其中，i为大于等于1的整数。

4.根据权利要求1所述的方法，其特征在于，若所述待检测视频片段中的目标对象的用户操作为拿取操作，所述根据所述手部状态信息确定所述每一个待检测视频片段中的目标对象的用户操作之后，还包括：

确定所述目标对象所拿取的商品；

根据所述商品的价格确定所述目标对象的待付款金额。

5.根据权利要求1所述的方法，其特征在于，所述提取待检测视频中所述目标对象的手部状态信息，包括：

根据预设算法提取待检测视频中的目标对象的手部状态信息；

其中，所述预设算法为卷积神经网络CNN、循环神经网络RNN或光流算法中的至少一种。

6.一种用户操作的检测装置，其特征在于，包括：

确定单元，用于确定每一个待检测视频片段中目标对象的手部状态信息；其中，所述手部状态信息为手部伸入货架的状态或手部离开货架的状态，所述每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态；

所述确定单元，还用于根据所述手部状态信息确定所述每一个待检测视频片段中的目标对象的用户操作；

所述的装置还包括提取单元和划分单元；

所述提取单元，用于提取待检测视频中所述目标对象的手部状态信息；

所述划分单元，用于根据所述目标对象的手部状态信息将所述待检测视频进行划分，得到所述每一个待检测视频片段。

7.根据权利要求6所述的装置，其特征在于，

所述目标对象的用户操作包括下述任一种：

拿取操作、放回操作、观察操作及更换操作。

8.根据权利要求6所述的装置，其特征在于，

所述划分单元，具体用于根据所述目标对象的第i个手部伸入货架的状态和其对应的手部离开货架的状态将所述待检测视频进行划分，得到第i个待检测视频片段；其中，i为大于等于1的整数。

9.根据权利要求6所述的装置，其特征在于，若所述待检测视频片段中的目标对象的用户操作为拿取操作；

所述确定单元，还用于确定所述目标对象所拿取的商品；并根据所述商品的价格确定所述目标对象的待付款金额。

10.根据权利要求6所述的装置，其特征在于，

所述提取单元，具体用于根据预设算法提取待检测视频中的目标对象的手部状态信息；

其中，所述预设算法为卷积神经网络CNN、循环神经网络RNN或光流算法中的至少一种。

11.一种用户操作的检测装置，其特征在于，包括处理器和存储器，其中，

所述存储器用于存储程序指令；

所述处理器用于读取所述存储器中的程序指令，并根据所述存储器中的程序指令执行权利要求1-5任一项所示的用户操作的检测方法。

12.一种计算机可读存储介质，其特征在于，

计算机可读存储介质上存储有计算机程序，在所述计算机程序被处理器执行时，执行权利要求1-5任一项所示的用户操作的检测方法。

Images