CN113177471A - 动作检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及一种动作检测方法、装置、电子设备及存储介质，属于互联网技术领域。该方法包括：获取目标传感器采集的第一传感器数据，所述第一传感器数据用于检测是否触发展示资源转移图形码；基于动作估计时长和所述目标传感器的采样帧率，对所述第一传感器数据进行裁剪，得到第二传感器数据；基于所述第二传感器数据，通过第一动作检测模型中的单个第一卷积层和单个第一全连接层，确定所述第一传感器数据的目标动作；若所述目标动作属于预设动作集合，则展示资源转移图形码，所述预设动作集合包括至少一个用于触发展示资源转移图形码的预设动作。上述方法能够降低设备的功耗。

Description

动作检测方法、装置、电子设备及存储介质

技术领域

本申请实施例涉及互联网技术领域，特别涉及一种动作检测方法、装置、电子设备及存储介质。

背景技术

目前，在资源转移过程中，为了节约用户触发终端(例如手机)展示资源转移图形码所需的时间，终端通过动作检测模型确定终端是否执行了预设的智感转移动作，当终端执行该预设的智感转移动作时，展示资源转移图形码。然而终端中内置的动作检测模型一般较大，导致终端的功耗较大。

发明内容

本申请实施例提供了一种动作检测方法、装置、电子设备及存储介质，可以降低设备的功耗。所述技术方案如下：

一方面，提供了一种动作检测方法，所述方法包括：

获取目标传感器采集的第一传感器数据，所述第一传感器数据用于检测是否触发展示资源转移图形码；

基于动作估计时长和所述目标传感器的采样帧率，对所述第一传感器数据进行裁剪，得到第二传感器数据；

基于所述第二传感器数据，通过第一动作检测模型中的单个第一卷积层和单个第一全连接层，确定所述第一传感器数据的目标动作；

若所述目标动作属于预设动作集合，则展示资源转移图形码，所述预设动作集合包括至少一个用于触发展示资源转移图形码的预设动作。

另一方面，提供了一种动作检测装置，所述装置包括：

第一获取模块，用于获取目标传感器采集的第一传感器数据，所述第一传感器数据用于检测是否触发展示资源转移图形码；

裁剪模块，用于基于动作估计时长和所述目标传感器的采样帧率，对所述第一传感器数据进行裁剪，得到第二传感器数据；

确定模块，用于基于所述第二传感器数据，通过第一动作检测模型中的单个第一卷积层和单个第一全连接层，确定所述第一传感器数据的目标动作；

展示模块，用于若所述目标动作属于预设动作集合，则展示资源转移图形码，所述预设动作集合包括至少一个用于触发展示资源转移图形码的预设动作。

另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器；所述存储器存储有至少一条程序代码，所述至少一条程序代码用于被所述处理器执行以实现如上述方面所述的动作检测方法。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有至少一条程序代码，所述至少一条程序代码用于被处理器执行以实现如上述方面所述的动作检测方法。

另一方面，提供了一种计算机程序产品，当所述计算机程序产品中的程序代码由电子设备的处理器执行时，使得所述电子设备能够执行如上述方面所述的动作检测方法。

在本申请实施例中，一方面，在得到用于检测是否触发展示资源转移图形码的传感器数据时，先对该传感器数据进行裁剪，从而得到较小的模型输入数据；另一方面，由于该动作检测模型仅包含单个卷积层和单个全连接层，因此模型的体积较小，这样，通过将较小的模型输入数据输入到较小的动作检测模型中，确定该传感器数据的动作的过程能够降低处理资源的占用，进而降低了设备的功耗。

附图说明

图1示出了本申请一个示例性实施例所提供的实施环境的示意图；

图2示出了本申请一个示例性实施例所提供的终端的结构框图；

图3示出了本申请一个示例性实施例所提供的服务器的结构框图；

图4示出了本申请一个示例性实施例示出的动作检测方法的流程图；

图5示出了本申请一个示例性实施例示出的动作检测方法的示意图；

图6示出了本申请一个示例性实施例示出的动作检测方法的示意图；

图7示出了本申请一个示例性实施例示出的动作检测方法的流程图；

图8示出了本申请一个示例性实施例所提供的动作检测装置的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的用户信息可以为经用户授权或者经过各方充分授权的信息。

本申请实施例提供的动作检测方法，应用于电子设备。在一种可能实现方式中，电子设备为终端，例如，手机、平板电脑、计算机等。在另一种可能实现方式中，电子设备为服务器，该服务器为一台服务器，或者由若干服务器组成的服务器集群，或者是一个云计算服务中心。在另一种可能实现方式中，电子设备包括终端和服务器。

图1示出了本申请一个示例性实施例所提供的实施环境的示意图。参见图1，该实施环境包括终端100和服务器200。终端100与服务器200之间通过无线或者有线网络连接。

终端100上安装有目标应用。可选地，该目标应用为终端100操作系统中的应用程序，或者为第三方提供的应用程序。例如，该目标应用为资源转移应用，该资源转移应用具有资源转移功能，当然，该资源转移应用还能够具有其他功能，例如，展示资源转移图形码的功能等。

在一种可能的实现方式中，终端100，用于通过终端100中部署的动作检测模型对终端100执行的动作进行检测，在检测到预设动作时，触发资源转移应用展示资源转移图形码。

服务器200，用于辅助将该动作检测模型部署在终端100中。

本申请实施例提供的动作检测方法，可应用于动作检测场景中：

例如，以购物场景为例，该资源转移图形码可以为付款码，用于触发展示付款码的动作可以为翻转动作；在通过终端(手机)向商家付款时，若用户翻转终端，则终端通过本申请提供的动作检测方法，确定当前终端执行的动作为翻转动作，从而展示付款码，商家通过图形码扫描设备对该付款码进行扫描，完成购物过程中的付款操作。

再如，以乘车场景为例，该资源转移图形码可以为乘车码，用于触发展示乘车码的动作可以为翻转动作；在乘车过程中，若用户翻转终端，则终端通过本申请提供的动作检测方法，确定当前终端执行的动作为翻转动作，从而展示乘车码，车辆上安装的图形码扫描设备对该乘车码进行扫描，完成乘车过程中的付款操作。

需要说明的是，本申请实施例仅是以购物场景和乘车场景为例，对动作检测场景进行示例性说明，并不对动作检测场景造成限制，本申请实施例提供的动作检测方法还能够应用于其他任一动作检测场景中。

在本申请实施例中，提供一种电子设备，该电子设备包括处理器和存储器；该存储器存储有至少一条程序代码，该至少一条程序代码用于被该处理器执行以实现如本申请实施例提供的动作检测方法。

在一种可能的实现方式中，该电子设备可提供为终端，请参考图2，其示出了本申请一个示例性实施例所提供的终端100的结构框图。终端100可以是智能手机、平板电脑等具有资源转移、动作检测功能的终端。本申请中的终端100可以包括一个或多个如下部件：处理器110、存储器120、显示屏130。

处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个终端100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行终端100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-network Processing Unit，NPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏130所需要显示的内容的渲染和绘制；NPU用于实现人工智能(Artificial Intelligence，AI)功能；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选地，该存储器120包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等；存储数据区可存储根据终端100的使用所创建的数据(比如音频数据、电话本)等。

显示屏130是用于显示用户界面的显示组件。可选的，该显示屏130为具有触控功能的显示屏，通过触控功能，用户可以使用手指、触摸笔等任何适合的物体在显示屏130上进行触控操作。

显示屏130通常设置在终端100的前面板。显示屏130可被设计成为全面屏、曲面屏、异型屏、双面屏或折叠屏。显示屏130还可被设计成为全面屏与曲面屏的结合，异型屏与曲面屏的结合等，本实施例对此不加以限定。

除此之外，本领域技术人员可以理解，上述附图所示出的终端100的结构并不构成对终端100的限定，终端100可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端100中还包括麦克风、扬声器、射频电路、输入单元、传感器、音频电路、无线保真(Wireless Fidelity，Wi-Fi)模块、电源、蓝牙模块等部件，在此不再赘述。

在另一种可能的实现方式中，该电子设备可提供为服务器，请参考图3，其示出了本申请一个示例性实施例所提供的服务器200的结构框图。该服务器200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central Processing Units，CPU)210和一个或一个以上的存储器220，其中，存储器220用于存储可执行指令，处理器210被配置为执行上述可执行指令，以实现下述方法实施例提供的动作检测方法。当然，该服务器200还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器200还可以包括其他用于实现设备功能的部件，在此不再赘述。

请参考图4，其示出了本申请一个示例性实施例示出的动作检测方法的流程图。本申请实施例中的执行主体可以为终端100，也可以为终端100中的处理器110或终端100中的操作系统，本实施例以执行主体为终端100为例进行说明。在本申请实施例中，以终端通过内置的动作检测模型基于传感器数据触发展示资源转移图形码为例进行说明。该方法包括：

步骤401：终端获取目标传感器采集的第一传感器数据，该第一传感器数据用于检测是否触发展示资源转移图形码。

其中，该目标传感器包括加速度传感器和角速度传感器；加速度传感器采集到的是重力加速度数据，角速度传感器采集到的是旋转角速度数据。相应的，该第一传感器数据包括重力加速度数据和旋转角速度数据。

该资源转移图形码为用于资源转移的图形码。终端在进行资源转移时，可以展示该资源转移图形码，从而商家可以通过图形码扫描设备扫描该资源转移图形码，来完成资源转移操作。

在本申请实施例中，终端触发展示资源转移图形码的实现方式可以为：终端通过执行预设动作触发展示资源转移图形码，该预设动作为用于触发展示资源转移图形码的动作。

在该实现方式中，终端在执行任一动作时，加速度和角速度会发生变化，并且对于不同的动作，终端的加速度和角速度不同，则终端可以通过获取目标传感器采集到的第一传感器数据，来确定终端执行的动作是否为预设动作。

在一些实施例中，终端中安装有多个传感器，则终端获取目标传感器采集的第一传感器数据的实现方式可以包括以下步骤(1)-(2)：

(1)终端获取多个传感器采集的传感器数据。

其中，终端中除安装有加速度传感器和角速度传感器之外，还安装有其他的传感器；例如，压力传感器、光线感应传感器、接近传感器或者温度传感器等中的一个或者多个。

(2)终端从该多个传感器采集的传感器数据中，确定目标传感器采集的第一传感器数据。

在该实施例中，每个传感器均具有各自的传感器标识，相应的，步骤(2)的实现方式可以为：终端从多个传感器标识中确定目标传感器标识，将该目标传感器标识对应的传感器采集的传感器数据作为第一传感器数据，该目标传感器标识为目标传感器的标识。

本申请对传感器标识的设置不作具体限定；例如，该传感器标识可以为传感器的ID。

在本申请实施例中，通过对多个传感器采集的传感器数据进行筛选，得到目标传感器的第一传感器数据，从而后续仅需对与终端所执行的动作有关的传感器数据进行处理，进而降低了数据处理的难度，节省了用于数据处理的资源。

步骤402：终端基于动作估计时长和该目标传感器的采样帧率，对该第一传感器数据进行裁剪，得到第二传感器数据。

其中，该动作估计时长为用于触发展示资源转移图形码的动作的估计时长。对于用于触发展示资源转移图形码的动作，也即预设动作而言，一般终端执行完成一个预设动作所花费的时长不超过2秒，则终端可以事先设置动作估计时长，便于后续对第一传感器数据进行裁剪。本申请对该动作估计时长的设置不作具体限定；例如，该动作估计时长可以为1.5秒、2秒等。

在本步骤中，目标传感器均基于采样帧率进行传感器数据的采集，得到第一传感器数据。其中，采样帧率的大小可以根据需要进行设置和更改，本申请对此不作具体限定；例如，该采样帧率可以为30fps、20fps或者15fps等。

在一些实施例中，若传感器数据中的任一数据在当前采样时刻的数值比上一采样时刻的数值大预设数值，则终端确定终端当前正在执行第一动作，其中，该第一动作为任一动作。

在第一传感器数据中，重力加速度数据包括沿水平轴(x轴)的重力加速度、沿垂直轴(y轴)的重力加速度和沿竖直轴(z轴)的重力加速度，旋转角速度数据包括围绕水平轴的旋转角速度、围绕垂直轴的旋转角速度和围绕竖直轴的旋转角速度。

需要说明的一点是，对于终端而言，水平轴和垂直轴组成的平面与终端的显示屏所在的平面平行，竖直轴为与终端的显示屏所在的平面垂直的坐标轴。

例如，参见图5，其示出了在上下翻转终端时，目标传感器采集到的第一传感器数据的波形图，上图为重力加速度数据随采样帧数变化而变化的曲线图，其中，横轴为采样帧数frams，纵轴为重力加速度，沿x轴的重力加速度为gravity_x，沿y轴的重力加速度为gravity_y，沿z轴的重力加速度为gravity_z。下图为旋转角速度数据随采样帧数变化而变化的曲线图，其中，横轴为采样帧数frams，纵轴为旋转角速度，围绕x轴的旋转角速度为gyro_x，围绕y轴的旋转角速度为gyro_y，围绕z轴的旋转角速度为gyro_z。

例如，以动作估计时长为1.5s、采样帧率为20fps为例，帧数：1.5×20＝30，则裁剪得到的第二传感器数据对应一个30行6列的输入矩阵，其中，每一行中的6个数据分别为每次采样得到的重力加速度和旋转角速度对应的三轴数据。

步骤403：终端基于该第二传感器数据，通过第一动作检测模型中的单个第一卷积层和单个第一全连接层，确定该第二传感器数据的目标动作。

其中，该目标动作可以为任一类型的动作，例如翻转动作、平移动作、摇一摇动作等。例如，以目标动作为翻转动作为例进行说明，用户将终端由显示屏朝上翻转至显示屏朝下，则终端执行了上-下翻转动作；再如，用户将终端由显示屏朝上翻转至显示屏朝前横放，则终端执行了上-前横翻转动作。

在本申请实施例中，技术人员事先将第一动作检测模型部署在终端中，使得终端可以在得到第二传感器数据时，确定该第二传感器的目标动作。

在一些实施例中，步骤403的实现方式可以包括以下步骤(1)-(3)：

(1)终端通过该第一卷积层对该第二传感器数据进行卷积，得到特征图。

其中，终端中事先存储了第一卷积层(convolution)的第一模型参数；则步骤(1)的实现方式为：终端通过第一卷积层的第一模型参数对该第二传感器数据进行卷积，得到特征图；该第一模型参数至少包括第一卷积层的模型权重。

例如，以输入矩阵为[30,6]，第一卷积层的卷积核类型为1×1，卷积核个数为2为例进行说明，第一卷积层的输出通道数为2，输出的特征图的大小为[30,2]。

需要说明的一点是，第一动作检测模型还包括输入层；在一些实施例中，该输入层用于对第一传感器数据进行预处理得到第二传感器数据，将该第二传感器数据输入第一卷积层，也即终端通过输入层执行步骤402的操作。在另一些实施例中，终端单独对第一传感器数据进行预处理得到第二传感器数据，将该第二传感器数据输入到输入层，则输入层用于将该第二传感器数据输入到第一卷积层。

(2)终端通过该第一全连接层对该特征图进行全连接，得到每个预设动作的特征值。

其中，终端事先存储了第一全连接层(dense)的第二模型参数；则步骤(2)的实现方式为：终端通过第一全连接层的第二模型参数对该特征图进行全连接，得到每个预设动作的特征值；该第二模型参数至少包括第一全连接层的模型权重。

例如，以特征图的大小为[30,2]为例进行说明，若预设动作集合中包括c个预设动作，则第二模型参数的参数矩阵大小为[60,c]。

(3)终端基于该每个预设动作的特征值，确定该目标动作。

其中，第一动作检测模型还包括输出层(softmax)，该输出层用于确定第一全连接层输出的多个特征值的概率。例如，参见图6，第一动作检测模型包括输入层、第一卷积层、第一全连接层和输出层，可见，模型结构较为简单。

在该步骤中，每个特征值对应一个概率，相应的，输出层输出多个概率，该多个概率之和为1。第一动作检测模型将数值最大的概率对应的预设动作作为目标动作。

在本申请实施例中，通过第一动作检测模型中单个第一卷积层和单个第一全连接层对输入的第二传感器数据进行处理，从而能够得到该第二传感器数据所属的目标动作，也即终端所执行的动作，检测准确性较高。

步骤404：若该目标动作属于预设动作集合，则终端展示资源转移图形码，该预设动作集合包括至少一个用于触发展示资源转移图形码的预设动作。

其中，该预设动作集合包括至少一个预设动作。在本申请实施例中，以该预设动作为翻转动作为例进行说明；该多个预设动作可以包括：上-下翻转动作、上-前横翻转动作、上-前竖翻转动作、后竖-下翻转动作、后竖-前竖翻转动作或者后竖-前横翻转动作等动作中的至少一项。

在一些实施例中，由于终端执行目标动作可以表示使用终端的用户当前可能需要通过终端来完成资源转移操作，则终端在确定目标动作属于预设动作集合之后，可以展示资源转移图形码。

在另一些实施例中，终端执行目标动作的目的可能不是触发展示资源转移图形码，例如，若终端当前的屏幕朝上放置，而使用终端的用户不想被其他用户查看屏幕中显示的信息，则翻转终端，使得终端的屏幕朝下放置，此时，终端虽执行了翻转操作，但是用户并非需要通过终端来完成资源转移操作。

相应的，终端可以在展示资源转移图形码之前，先确定当前设备的屏幕有没有被遮挡，若确定该当前设备的屏幕没有被遮挡，则执行该展示资源转移图形码的步骤；若确定当前设备的屏幕被遮挡，则终端继续执行步骤401-步骤403的操作，直至确定该目标动作属于预设动作集合且当前设备的屏幕没有被遮挡时，展示资源转移图形码。

在该实施例中，本申请提供的动作检测方法还包括以下步骤：终端获取屏幕参考数据；基于该屏幕参考数据，确定当前设备的屏幕有没有被遮挡。

其中，该屏幕参考数据可以为终端中安装的光线传感器采集到的光线强度数据；则本步骤中，终端基于该屏幕参考数据，确定当前设备的屏幕有没有被遮挡的实现方式可以为：若该光线强度数据表示终端当前所处环境的光线强度较强，则确定该当前设备的屏幕没有被遮挡；若该光线强度数据表示终端当前所处环境的光线强度较弱，则确定该当前设备的屏幕被遮挡。

在本申请实施例中，由于可以结合屏幕参考数据和目标动作来确定用户的意图是否为通过终端展示资源转移图形码，从而避免了发生因用户的其他操作导致终端触发目标动作而用户意图并非是展示资源转移图形码的现象，提高了图形码展示的准确性，改善了用户的使用体验。

在本申请实施例中，第一动作检测模型可以为在服务器侧生成的模型，也可以为在终端侧训练得到的模型，为便于区别，将该终端称为第一终端，该将图4所示出的动作检测方法中的终端称为第二终端，第二终端为能够为模型训练提供足够处理资源的终端。第一终端与第二终端为不同终端。

请参考图7，其示出了本申请一个示例性实施例示出的动作检测方法的流程图。在本申请实施例中，以服务器生成第一动作检测模型为例进行说明，该方法包括：

步骤701：服务器确定已训练完成的第二动作检测模型，该第二动作检测模型包括第二卷积层、第二全连接层和用于实现模型框架的其他网络层。

其中，第二动作检测模型为服务器基于深度学习算法训练得到的动作检测模型；该其他网络层可以为池化层等隐藏层。例如，该深度学习算法为卷积神经网络，则该模型框架为卷积神经网络的模型框架。

在训练第二动作检测模型之前，服务器确定该第二动作检测模型的网络层参数。对于第二卷积层，其卷积核的类型和个数可以根据需要进行设置和更改，本申请对此不作具体限定；例如，卷积核的类型可以为1×1、3×3、5×5、7×7等中的任一项，卷积核的个数n可以小于6，以减少计算量。

在训练第二动作检测模型的过程中，服务器获取样本数据，该样本数据为事先采集到的第三传感器数据；通过该样本数据对第二动作检测模型进行训练。

例如，对于一个样本数据而言，第三传感器数据对应的输入矩阵大小为[30,2]，卷积核的类型为1×1，卷积核的个数为2。

在本申请实施例中，由于该模型框架中包含能够实现该卷积神经网络模型的多个网络层的代码文件，因此，若直接将该第二动作检测模型部署在终端中，则技术人员需要依赖于该模型框架来对第二动作检测模型进行部署，也即将该多个网络层的代码文件分别部署在终端。由于当前使用终端来进行资源转移的情况较多，则终端得实时运行第二动作检测模型，也即通过运行模型框架来运行第二动作检测模型，则终端得同时运行多个代码文件，进而终端的功耗较高。

步骤702：服务器从该第二动作检测模型中，获取用于实现该第二卷积层的第一模型参数和该第二全连接层的第二模型参数。

其中，该第一模型参数至少包括第二卷积层的模型权重；该第二模型参数至少包括第二全连接层的模型权重。在本步骤中，服务器在训练第二动作检测模型的过程中，第二卷积层的模型参数和第二全连接层的模型参数在不断地优化，在训练完成该第二动作检测模型时，得到该第一模型参数和该第二模型参数。

步骤703：服务器获取第一代码文件，该第一代码文件用于实现该第二卷积层和该第二全连接层的功能。

在一些实施例中，步骤703的实现方式可以包括：服务器获取被输入的用于实现该第二卷积层的第一代码数据，以及获取被输入的用于实现该第二全连接层的第二代码数据；服务器基于该第一代码数据和该第二代码数据，生成该第一代码文件。

其中，第一代码数据和第二代码数据均为技术人员基于计算机编程语言编写得到的代码数据，且该第一代码数据和第二代码数据均不是基于模型框架实现的；该计算机编程语言可以为C语言。

需要说明的一点是，由于第二动作检测模型还包括输入层和输出层，则第一代码文件中除包含第一代码数据和第二代码数据外，还包含分别用于实现输入层和输出层的代码数据。

在本申请实施例中，由于第一代码文件中的用于实现第二卷积层和第二全连接层的代码数据不是基于模型框架实现的，因此，基于第一代码文件实现的动作检测模型的体积较小，从而模型的运行速度较快。

步骤704：服务器基于该第一代码文件、该第一模型参数和该第二模型参数，生成第一动作检测模型。

在一些实施例中，该步骤的实现方式可以包括：服务器将该第一代码文件中的该第二卷积层的模型参数和该第二全连接层的模型参数分别修改为该第一模型参数和该第二模型参数，得到该第一卷积层和该第一全连接层；将该第一卷积层和该第一全连接层组成该第一动作检测模型。

需要说明的一点是，第一代码文件中用于实现每个网络层的功能的代码数据具有一定的联系和逻辑，例如，输入层的代码数据用于将样本数据输入第一卷积层，第一卷积层的代码数据用于对样本数据进行卷积，得到特征图，第一全连接层的代码数据用于对特征图进行全连接，得到多个特征值，输出层用于确定每个特征值的概率。相应的，第一动作检测模型还包括输入层和输出层。

在该实施例中，由于第一代码文件中的第二卷积层和第二全连接层为未经过训练的网络层，因此，其模型参数的准确性较低，则服务器将训练得到的第二动作检测模型中的第一模型参数和第二模型参数部署在第一代码文件中，从而使得第一卷积层和第一全连接层的模型参数更为准确，这样，基于第一卷积层和该第一全连接层组成的第一动作检测模型能够实现第二动作检测模型的功能，且模型体积较小。

在另一些实施例中，该第二卷积层和该第二全连接层处理的数据类型为浮点型数据类型；服务器可以对第一动作检测模型进行模型量化，相应的，该步骤的实现方式可以包括：服务器将该第一代码文件中的该第二卷积层的模型参数修改为该第一模型参数，得到第三卷积层，对该第三卷积层进行量化处理，得到该第一卷积层；将该第一代码文件中的该第二全连接层的模型参数修改为该第二模型参数，得到第三全连接层，对该第三全连接层进行量化处理，得到该第一全连接层；其中，该第一卷积层和该第一全连接层处理的数据类型为整型数据类型。

其中，由于1个浮点型(float)数据的大小等于4个整型(int8或者uint8)数据的大小，则上述操作相当于将模型的大小缩小了4倍。例如，若模型的输入矩阵大小为[30,6]，模型量化后的输入矩阵的大小为[30,24]。

在该实施例中，由于对第一代码文件中的卷积层和全连接层进行了模型量化，从而在保证模型精度的基础上，使得生成的第一动作检测模型的体积更小，进而能够提高模型的运行速度。

在本申请实施例中，通过上述方法生成的第一动作检测模型的体积小于10kb，可见模型体积较小，因此方便部署；并且在终端中通过运行第一动作检测模型确定一个目标动作所需的时间一般不超过1ms，运行速度较快，可以满足在终端中处于实时常开状态；此外，在测试过程中，第一动作检测模型的准确率也比较高，高达95％以上。由于第一动作检测模型无需依赖于模型框架来部署，因此，技术人员可以方便地将该第一动作检测模型移植在任一平台。

在本申请实施例中，通过第一代码文件来实现第二动作检测模型中各个网络层的功能，并且将第一代码文件中的模型参数更新为训练好的模型参数，使得基于第一代码文件生成的第一动作检测模型的模型体积远远小于第二动作检测模型的模型体积，从而大大提高了第一动作检测模型的运行速度。

请参考图8，其示出了本申请一个示例性实施例所提供的动作检测装置的结构框图。该动作检测装置可以通过软件、硬件或者两者的结合实现成为处理器110的全部或一部分。该装置包括：

第一获取模块801，用于获取目标传感器采集的第一传感器数据，该第一传感器数据用于检测是否触发展示资源转移图形码；

裁剪模块802，用于基于动作估计时长和该目标传感器的采样帧率，对该第一传感器数据进行裁剪，得到第二传感器数据；

确定模块803，用于基于该第二传感器数据，通过第一动作检测模型中的单个第一卷积层和单个第一全连接层，确定该第一传感器数据的目标动作；

展示模块804，用于若该目标动作属于预设动作集合，则展示资源转移图形码，该预设动作集合包括至少一个用于触发展示资源转移图形码的预设动作。

在一种可能的实现方式中，该装置还包括生成模块，该生成模块包括：

确定单元，用于确定已训练完成的第二动作检测模型，该第二动作检测模型包括第二卷积层、第二全连接层和用于实现模型框架的其他网络层；

第一获取单元，用于从该第二动作检测模型中，获取用于实现该第二卷积层的第一模型参数和该第二全连接层的第二模型参数；

第二获取单元，用于获取第一代码文件，该第一代码文件用于实现该第二卷积层和该第二全连接层的功能；

生成单元，用于基于该第一代码文件、该第一模型参数和该第二模型参数，生成该第一动作检测模型。

在一种可能的实现方式中，该生成单元，用于将该第一代码文件中的该第二卷积层的模型参数和该第二全连接层的模型参数分别修改为该第一模型参数和该第二模型参数，得到该第一卷积层和该第一全连接层；将该第一卷积层和该第一全连接层组成该第一动作检测模型。

在一种可能的实现方式中，该第二卷积层和该第二全连接层处理的数据类型为浮点型数据类型；该该生成单元，用于将该第一代码文件中的该第二卷积层的模型参数修改为该第一模型参数，得到第三卷积层，对该第三卷积层进行量化处理，得到该第一卷积层；将该第一代码文件中的该第二全连接层的模型参数修改为该第二模型参数，得到第三全连接层，对该第三全连接层进行量化处理，得到该第一全连接层；其中，该第一卷积层和该第一全连接层处理的数据类型为整型数据类型。

在一种可能的实现方式中，该第二获取单元，用于获取被输入的用于实现该第二卷积层的第一代码数据，以及获取被输入的用于实现该第二全连接层的第二代码数据；基于该第一代码数据和该第二代码数据，生成该第一代码文件。

在一种可能的实现方式中，该确定模块803，用于通过该第一卷积层对该第二传感器数据进行卷积，得到特征图；通过该第二全连接层对该特征图进行全连接，得到每个预设动作的特征值；基于该每个预设动作的特征值，确定该目标动作。

在一种可能的实现方式中，该第一获取模块801，用于获取多个传感器采集的传感器数据；从该多个传感器采集的传感器数据中，确定目标传感器采集的第一传感器数据。

在一种可能的实现方式中，该装置还包括：

第二获取模块，用于获取参考数据；

该展示模块804，还用于若基于该参考数据，确定该当前设备的屏幕没有被遮挡，则展示资源转移图形码。

在本申请实施例中，一方面，在得到用于检测是否触发展示资源转移图形码的传感器数据时，先对该传感器数据进行裁剪，从而得到较小的模型输入数据；另一方面，由于该动作检测模型仅包含单个卷积层和单个全连接层，因此模型的体积较小，这样，通过将较小的模型输入数据输入到较小的动作检测模型中，确定该传感器数据的动作的过程能够降低处理资源的占用，进而降低了设备的功耗。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有至少一条程序代码，该至少一条程序代码用于被处理器执行以实现如上各个实施例示出的动作检测方法。

本申请实施例还提供了一种计算机程序产品，当该计算机程序产品中的程序代码由电子设备的处理器执行时，使得电子设备能够执行如上各个实施例示出的动作检测方法。

在一些实施例中，本申请实施例所涉及的程序代码可被部署在一个电子设备上执行，或者在位于一个地点的多个电子设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个电子设备上执行，分布在多个地点且通过通信网络互连的多个电子设备可以组成区块链系统。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个程序代码或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种动作检测方法，其特征在于，所述方法包括：

获取目标传感器采集的第一传感器数据，所述第一传感器数据用于检测是否触发展示资源转移图形码；

基于动作估计时长和所述目标传感器的采样帧率，对所述第一传感器数据进行裁剪，得到第二传感器数据；

基于所述第二传感器数据，通过第一动作检测模型中的单个第一卷积层和单个第一全连接层，确定所述第一传感器数据的目标动作；

若所述目标动作属于预设动作集合，则展示资源转移图形码，所述预设动作集合包括至少一个用于触发展示资源转移图形码的预设动作。

2.根据权利要求1所述的方法，其特征在于，所述第一动作检测模型的生成过程，包括：

确定已训练完成的第二动作检测模型，所述第二动作检测模型包括第二卷积层、第二全连接层和用于实现模型框架的其他网络层；

从所述第二动作检测模型中，获取用于实现所述第二卷积层的第一模型参数和所述第二全连接层的第二模型参数；

获取第一代码文件，所述第一代码文件用于实现所述第二卷积层和所述第二全连接层的功能；

基于所述第一代码文件、所述第一模型参数和所述第二模型参数，生成所述第一动作检测模型。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一代码文件、所述第一模型参数和所述第二模型参数，生成所述第一动作检测模型，包括：

将所述第一代码文件中的所述第二卷积层的模型参数和所述第二全连接层的模型参数分别修改为所述第一模型参数和所述第二模型参数，得到所述第一卷积层和所述第一全连接层；

将所述第一卷积层和所述第一全连接层组成所述第一动作检测模型。

4.根据权利要求3所述的方法，其特征在于，所述第二卷积层和所述第二全连接层处理的数据类型为浮点型数据类型；所述将所述第一代码文件中的所述第二卷积层的模型参数和所述第二全连接层的模型参数分别修改为所述第一模型参数和所述第二模型参数，得到所述第一卷积层和所述第一全连接层，包括：

将所述第一代码文件中的所述第二卷积层的模型参数修改为所述第一模型参数，得到第三卷积层，对所述第三卷积层进行量化处理，得到所述第一卷积层；

将所述第一代码文件中的所述第二全连接层的模型参数修改为所述第二模型参数，得到第三全连接层，对所述第三全连接层进行量化处理，得到所述第一全连接层；

其中，所述第一卷积层和所述第一全连接层处理的数据类型为整型数据类型。

5.根据权利要求2所述的方法，其特征在于，所述获取第一代码文件，包括：

获取被输入的用于实现所述第二卷积层的第一代码数据，以及获取被输入的用于实现所述第二全连接层的第二代码数据；

基于所述第一代码数据和所述第二代码数据，生成所述第一代码文件。

6.根据权利要求1所述的方法，其特征在于，所述基于所述第二传感器数据，通过第一动作检测模型中的单层第一卷积层和单层第一全连接层，确定所述第一传感器数据的目标动作，包括：

通过所述第一卷积层对所述第二传感器数据进行卷积，得到特征图；

通过所述第二全连接层对所述特征图进行全连接，得到每个预设动作的特征值；

基于所述每个预设动作的特征值，确定所述目标动作。

7.根据权利要求1所述的方法，其特征在于，所述获取目标传感器采集的第一传感器数据，包括：

获取多个传感器采集的传感器数据；

从所述多个传感器采集的传感器数据中，确定目标传感器采集的第一传感器数据。

8.根据权利要求1所述的方法，其特征在于，所述展示资源转移图形码之前，所述方法还包括：

获取屏幕参考数据；

若基于所述屏幕参考数据，确定所述当前设备的屏幕没有被遮挡，则执行所述展示资源转移图形码的步骤。

9.一种动作检测装置，其特征在于，所述装置包括：

第一获取模块，用于获取目标传感器采集的第一传感器数据，所述第一传感器数据用于检测是否触发展示资源转移图形码；

裁剪模块，用于基于动作估计时长和所述目标传感器的采样帧率，对所述第一传感器数据进行裁剪，得到第二传感器数据；

确定模块，用于基于所述第二传感器数据，通过第一动作检测模型中的单个第一卷积层和单个第一全连接层，确定所述第一传感器数据的目标动作；

展示模块，用于若所述目标动作属于预设动作集合，则展示资源转移图形码，所述预设动作集合包括至少一个用于触发展示资源转移图形码的预设动作。

10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；所述存储器存储有至少一条程序代码，所述至少一条程序代码用于被所述处理器执行以实现如权利要求1至8任一所述的动作检测方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一条程序代码，所述至少一条程序代码用于被处理器执行以实现如权利要求1至8任一所述的动作检测方法。

Images