CN113569821B - 手势识别方法、装置、设备与计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种手势识别方法、装置、设备和计算机可读存储介质，该方法包括：在检测到识别指令时，获取所述识别指令中对应的手势图像，并将所述手势图像输入特征提取网络，以得到第一特征层集合；对所述第一特征层集合中的特征层进行上采样和融合，以得到第二特征层集合，并基于所述第二特征层集合，确定所述手势图像对应的手势信息。本发明通过将手势图像输入特征提取网络，以得到第一特征层集合，并基于第一特征层集合得到第二特征层集合，再基于第二特征层集合，确定手势图像对应的手势信息，提高了手势识别的准确率。

Description

手势识别方法、装置、设备与计算机可读存储介质

技术领域

本发明涉及机器学习技术领域，尤其涉及手势识别方法、装置、设备与计算机可读存储介质。

背景技术

基于深度学习的方法被证明可以很准确地提取特征进行运算，并取得较高的识别准确率，但在目前的特征提取过程中需要进行多层的卷积层特征提取，并主要利用最后一层特征层进行解码和后处理操作，以完成对手势的识别，由于进行多层的卷积层特征提取会导致原始图片压缩至较低的分辨率尺寸，因此使得图片中占比较小的手势难以被识别到，从而降低了手势识别准确率。

发明内容

本发明的主要目的在于提出一种手势识别方法、装置、设备与计算机可读存储介质，旨在提高手势识别的准确率。

为实现上述目的，本发明提供一种手势识别方法，所述手势识别方法包括如下步骤：

在检测到识别指令时，获取所述识别指令中对应的手势图像，并将所述手势图像输入特征提取网络，以得到第一特征层集合；

对所述第一特征层集合中的特征层进行上采样和融合，以得到第二特征层集合，并基于所述第二特征层集合，确定所述手势图像对应的手势信息。

优选地，将所述手势图像输入特征提取网络，以得到第一特征层集合的步骤包括：

将所述手势图像输入特征提取网络，通过所述特征提取网络中的卷积层，对所述手势图像进行卷积操作，得到第一特征层；

通过所述卷积层对所述第一特征层进行卷积操作，得到第二特征层，并通过所述卷积层对所述第二特征层进行卷积操作，得到第三特征层；

基于所述第一特征层、所述第二特征层和所述第三特征层得到第一特征层集合。

优选地，对所述第一特征层集合中的特征层进行上采样和融合，以得到第二特征层集合的步骤包括：

将所述第一特征层集合中的所述第三特征层进行上采样得到第一上采样特征层，并将所述第二特征层进行上采样得到第二上采样特征层；

将所述第一上采样特征层和所述第二特征层进行融合，得到第四特征层，并将所述第二上采样特征层和所述第一特征层进行融合，得到第五特征层；

基于所述第三特征层、所述第四特征层和所述第五特征层得到第二特征层集合。

优选地，将所述第一特征层集合中的所述第三特征层进行上采样得到第一上采样特征层，并将所述第二特征层进行上采样得到第二上采样特征层的步骤包括：

基于所述第二特征层的分辨率尺寸，通过双线性插值法对所述第三特征层进行上采样，得到第一上采样特征层；

基于所述第一特征层的分辨率尺寸，通过双线性插值法对所述第二特征层进行上采样，得到第二上采样特征层。

优选地，将所述第一上采样特征层和所述第二特征层进行融合，得到第四特征层，并将所述第二上采样特征层和所述第一特征层进行融合，得到第五特征层的步骤包括：

将所述第一上采样特征层对应的特征矩阵与所述第二特征层对应的特征矩阵进行矩阵加和操作，以得到第四特征层；

将所述第二上采样特征层对应的特征矩阵与所述第一特征层对应的特征矩阵进行矩阵加和操作，以得到第五特征层。

优选地，基于所述第二特征层集合，确定所述手势图像对应的手势信息的步骤包括：

识别所述第二特征层集合中的所述第三特征层对应的手势信息、所述第四特征层对应的手势信息和所述第五特征层对应的手势信息；

将所述第三特征层对应的置信度、所述第四特征层对应的置信度和所述第五特征层对应的置信度进行对比，得到对比结果，并基于所述对比结果确定所述手势图像对应的手势信息。

优选地，基于所述对比结果确定所述手势图像对应的手势信息的步骤包括：

若所述对比结果为所述第三特征层对应的置信度大于所述第四特征层对应的置信度和所述第五特征层对应的置信度，则以所述第三特征层对应的手势信息作为所述手势图像对应的手势信息；

若所述对比结果为所述第四特征层对应的置信度大于所述第三特征层对应的置信度和所述第五特征层对应的置信度，则以所述第四特征层对应的手势信息作为所述手势图像对应的手势信息；

若所述对比结果为所述第五特征层对应的置信度大于所述第三特征层对应的置信度和所述第四特征层对应的置信度，则以所述第五特征层对应的手势信息作为所述手势图像对应的手势信息。

此外，为实现上述目的，本发明还提供一种手势识别装置，所述手势识别装置包括：

检测模块，用于在检测到识别指令时，获取所述识别指令中对应的手势图像，并将所述手势图像输入特征提取网络，以得到第一特征层集合；

确定模块，用于对所述第一特征层集合中的特征层进行上采样和融合，以得到第二特征层集合，并基于所述第二特征层集合，确定所述手势图像对应的手势信息。

进一步地，所述检测模块还包括第一计算模块，所述第一计算模块用于：

将所述手势图像输入特征提取网络，通过所述特征提取网络中的卷积层，对所述手势图像进行卷积操作，得到第一特征层；

通过所述卷积层对所述第一特征层进行卷积操作，得到第二特征层，并通过所述卷积层对所述第二特征层进行卷积操作，得到第三特征层；

基于所述第一特征层、所述第二特征层和所述第三特征层得到第一特征层集合。

进一步地，所述确定模块还包括第二计算模块，所述第二计算模块用于：

将所述第一特征层集合中的所述第三特征层进行上采样得到第一上采样特征层，并将所述第二特征层进行上采样得到第二上采样特征层；

将所述第一上采样特征层和所述第二特征层进行融合，得到第四特征层，并将所述第二上采样特征层和所述第一特征层进行融合，得到第五特征层；

基于所述第三特征层、所述第四特征层和所述第五特征层得到第二特征层集合。

进一步地，所述第二计算模块还用于：

基于所述第二特征层的分辨率尺寸，通过双线性插值法对所述第三特征层进行上采样，得到第一上采样特征层；

基于所述第一特征层的分辨率尺寸，通过双线性插值法对所述第二特征层进行上采样，得到第二上采样特征层。

进一步地，所述第二计算模块还用于：

将所述第一上采样特征层对应的特征矩阵与所述第二特征层对应的特征矩阵进行矩阵加和操作，以得到第四特征层；

将所述第二上采样特征层对应的特征矩阵与所述第一特征层对应的特征矩阵进行矩阵加和操作，以得到第五特征层。

进一步地，所述确定模块还用于：

识别所述第二特征层集合中的所述第三特征层对应的手势信息、所述第四特征层对应的手势信息和所述第五特征层对应的手势信息；

将所述第三特征层对应的置信度、所述第四特征层对应的置信度和所述第五特征层对应的置信度进行对比，得到对比结果，并基于所述对比结果确定所述手势图像对应的手势信息。

进一步地，所述确定模块还包括对比模块，所述对比模块用于：

若所述对比结果为所述第三特征层对应的置信度大于所述第四特征层对应的置信度和所述第五特征层对应的置信度，则以所述第三特征层对应的手势信息作为所述手势图像对应的手势信息；

若所述对比结果为所述第四特征层对应的置信度大于所述第三特征层对应的置信度和所述第五特征层对应的置信度，则以所述第四特征层对应的手势信息作为所述手势图像对应的手势信息；

若所述对比结果为所述第五特征层对应的置信度大于所述第三特征层对应的置信度和所述第四特征层对应的置信度，则以所述第五特征层对应的手势信息作为所述手势图像对应的手势信息。

此外，为实现上述目的，本发明还提供一种手势识别设备，所述手势识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的手势识别程序，所述手势识别程序被所述处理器执行时实现如上所述的手势识别方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有手势识别程序，所述手势识别程序被处理器执行时实现如上所述的手势识别方法的步骤。

本发明提出的手势识别方法，在检测到识别指令时，获取所述识别指令中对应的手势图像，并将所述手势图像输入特征提取网络，以得到第一特征层集合；对所述第一特征层集合中的特征层进行上采样和融合，以得到第二特征层集合，并基于所述第二特征层集合，确定所述手势图像对应的手势信息。本发明通过将手势图像输入特征提取网络，以得到第一特征层集合，并基于第一特征层集合得到第二特征层集合，再基于第二特征层集合，确定手势图像对应的手势信息，提高了手势识别的准确率。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；

图2为本发明手势识别方法第一实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。

本发明实施例设备可以是台式机或服务器。

如图1所示，该设备可以包括：操作器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述操作器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及手势识别程序。

其中，操作系统是管理和控制手势识别设备与软件资源的程序，支持网络通信模块、用户接口模块、手势识别程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1002；用户接口模块用于管理和控制用户接口1003。

在图1所示的手势识别设备中，所述手势识别设备通过操作器1001调用存储器1005中存储的手势识别程序，并执行下述手势识别方法各个实施例中的操作。

基于上述硬件结构，提出本发明手势识别方法实施例。

参照图2，图2为本发明手势识别方法第一实施例的流程示意图，所述方法包括：

步骤S10，在检测到识别指令时，获取所述识别指令中对应的手势图像，并将所述手势图像输入特征提取网络，以得到第一特征层集合；

步骤S20，对所述第一特征层集合中的特征层进行上采样和融合，以得到第二特征层集合，并基于所述第二特征层集合，确定所述手势图像对应的手势信息。

本实施例手势识别方法可运用于例如聋哑人之间的交流，机器人控制，人机交互（HCI）, 家庭自动化和医疗应用的手势识别设备中，手势识别设备可以是终端、台式PC设备或者是嵌入式系统，为描述方便，以手势识别设备为例进行描述，该手势识别设备中包括但不限于摄像头模块，可以识别手势图像中不同尺度的手势特征，特别对手势图像中占比较小的手势特征的识别具有较好的感知能力；手势识别设备在检测到识别指令时，获取识别指令中对应的手势图像，并将手势图像输入特征提取网络，以通过特征提取网络中的卷积层对手势图像进行卷积操作，以得到包括第一特征层、第二特征层和第三特征层的第一特征层集合；手势识别设备对第一特征层集合中的第三特征层进行上采样得到第一上采样特征层，对第二特征层进行上采样得到第二上采样特征层，并将第一上采样特征层对应的特征矩阵与第二特征层对应的特征矩阵进行矩阵加和操作，以得到第四特征层，将第二上采样特征层对应的特征矩阵与第一特征层对应的特征矩阵进行矩阵加和操作，以得到第五特征层，进而得到包括第三特征层、第四特征层和第五特征层的第二特征层集合，再基于第二特征层集合，确定手势图像对应的手势信息。需要说明的是：相关操作人员在手势识别设备的摄像头模块前比划手势时，便会触发识别指令，识别指令中包括摄像头模块拍摄的对应手势的图像，可选的，在特定的应用场景下，当相关操作人员直接向手势识别设备输入手势图像时，也可触发识别指令，具体触发识别指令的方法可根据实际的应用场景设定，在此不做具体限定；特征提取网络是由相关研发人员提前进行相应的训练，并设置在手势识别设备中的。

本实施例的手势识别设备，在检测到识别指令时，获取识别指令中对应的手势图像，并将手势图像输入特征提取网络，以得到第一特征层集合；基于第一特征层集合得到第二特征层集合，并基于第二特征层集合，确定手势图像对应的手势信息。本发明通过将手势图像输入特征提取网络，以得到第一特征层集合，并基于第一特征层集合得到第二特征层集合，再基于第二特征层集合，确定手势图像对应的手势信息，提高了对在手势图像中占比较小的手势的识别准确率，进而提高了整体手势识别的准确率。

以下将对各个步骤进行详细说明：

步骤S10，在检测到识别指令时，获取所述识别指令中对应的手势图像，并将所述手势图像输入特征提取网络，以得到第一特征层集合；

在本实施例中，手势识别设备在检测到识别指令时，获取识别指令中对应的手势图像，并将手势图像输入特征提取网络中，并通过特征提取网络对手势图像进行卷积操作，以得到第一特征层集合；在一实施例中，该手势识别方法应用在人机交互领域，相关操作人员通过在手势识别设备的摄像头模块前比划手势，手势识别设备在检测到有手出现在摄像头模块的取景框内时，触发摄像头模块的拍摄功能，对手势进行拍摄，得到手势图像，并在得到手势图像后，生成对应的识别指令，手势识别设备获取识别指令中对应的手势图像，并将手势图像输入特征提取网络，并通过特征提取网络对手势图像进行卷积操作，以得到第一特征层集合。需要说明的是，手势识别设备中的摄像头模块可定时拍摄图像，也可在检测到有手出现在摄像头模块的取景框内进行拍摄图像，具体不做限定。

具体地，步骤S10包括：

步骤a，将所述手势图像输入特征提取网络，通过所述特征提取网络中的卷积层，对所述手势图像进行卷积操作，得到第一特征层；

在该步骤中，手势识别设备将手势图像输入特征提取网络，通过特征提取网络中的卷积层，对手势图像进行卷积操作，得到第一特征层，如：手势识别设备获取到的手势图像的分辨率尺寸为512*512，手势识别设备将获取到的手势图像输入特征提取网络，使得手势图像与第一个3*3的卷积层进行卷积操作，得到第一特征层，第一特征层的分辨率尺寸为256*256。需要说明的是，手势识别设备获取的手势图像的分辨率尺寸可通过手势识别设备中的摄像头模块设定的，一般来说手势图像的分辨率尺寸为512*512，可选地，摄像头模块拍摄的手势图像的分辨率尺寸可根据具体应用场景进行具体设定，当手势图像是通过相关操作人员直接上传的而不是通过摄像头模块拍摄得到的时，手势识别设备可通过图像处理操作，将手势图像的分辨率尺寸调整为512*512。

步骤b，通过所述卷积层对所述第一特征层进行卷积操作，得到第二特征层，并通过所述卷积层对所述第二特征层进行卷积操作，得到第三特征层；

在该步骤中，手势识别设备通过卷积层对第一特征层进行卷积操作，得到第二特征层，并通过卷积层对第二特征层进行卷积操作，得到第三特征层，如：手势识别设备使得手势图像与第一个3*3的卷积层进行卷积操作，得到第一特征层，第一特征层的分辨率尺寸为256*256，将第一特征层与第二个3*3的卷积层进行卷积操作，得到第二特征层，第二特征层的分辨率尺寸为128*128，再将第二特征层与第三个3*3的卷积层进行卷积操作，得到第三特征层，第三特征层的分辨率尺寸为64*64。

步骤c，基于所述第一特征层、所述第二特征层和所述第三特征层得到第一特征层集合。

在该步骤中，手势识别设备将手势图像输入特征提取网络得到第一特征层、第二特征层和第三特征层后，便得到了包含第一特征层、第二特征层和第三特征层的第一特征层集合。

步骤S20，对所述第一特征层集合中的特征层进行上采样和融合，以得到第二特征层集合，并基于所述第二特征层集合，确定所述手势图像对应的手势信息。

在本实施例中，手势识别设备在得到第一特征层集合后，对第一特征层集合中的第三特征层和第二特征层分别进行上采样，得到第一上采样特征层和第二上采样特征层，再将第一上采样特征层和第二特征层进行融合，得到第四特征层，并将第二上采样特征层和第一特征层进行融合，得到第五特征层，根据第三特征层、第四特征层和第五特征层得到第二特征层集合，并基于第二特征层集合，确定手势图像对应的手势信息，其中手势信息包括但不限于手势类别和手势坐标。

具体地，对所述第一特征层集合中的特征层进行上采样和融合，以得到第二特征层集合的步骤包括：

步骤d，将所述第一特征层集合中的所述第三特征层进行上采样得到第一上采样特征层，并将所述第二特征层进行上采样得到第二上采样特征层；

在该步骤中，手势识别设备将第一特征层集合中的第三特征层进行上采样得到第一上采样特征层，并将第二特征层进行上采样得到第二上采样特征层；需要说明的是，对特征层进行上采样的方法有多种，包括：最邻近元法、双线性插值法和反卷积，优选地，本发明采取双线性插值法对特征层进行上采样。

进一步地，步骤d包括：

基于所述第二特征层的分辨率尺寸，通过双线性插值法对所述第三特征层进行上采样，得到第一上采样特征层；

在该步骤中，手势识别设备根据第二特征层的分辨率尺寸，通过双线性插值法对第三特征层进行上采样，得到第一上采样特征层；如：第二特征层的分辨率尺寸为128*128，手势识别设备根据第二特征层的分辨率尺寸，通过双线性插值法将分辨率尺寸为64*64的第三特征层进行上采样，得到分辨率尺寸与第二特征层同为128*128的第一上采样特征层，需要说明的是，双线性插值法是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值，线性插值的结果与插值的顺序无关，可首先进行 y 方向的插值，然后进行 x 方向的插值，也可首先进行 x 方向的插值，然后进行 y 方向的插值，所得到的结果是一样的，可使得特征层利用插值的方式，提高分辨率尺寸，实现上采样。

基于所述第一特征层的分辨率尺寸，通过双线性插值法对所述第二特征层进行上采样，得到第二上采样特征层。

在该步骤中，手势识别设备根据第一特征层的分辨率尺寸，通过双线性插值法对第二特征层进行上采样，得到第二上采样特征层，如：第一特征层的分辨率尺寸为256*256，手势识别设备根据第一特征层的分辨率尺寸，通过双线性插值法将分辨率尺寸为128*128的第二特征层进行上采样，得到分辨率尺寸与第一特征层同为256*256的第二上采样特征层。

步骤e，将所述第一上采样特征层和所述第二特征层进行融合，得到第四特征层，并将所述第二上采样特征层和所述第一特征层进行融合，得到第五特征层；

在该步骤中，手势识别设备在得到第一上采样特征层和第二上采样特征层后，将第一上采样特征层和第一特征层集合中的第二特征层进行融合，得到第四特征层，并将第二上采样特征层和第一特征层集合中的第一特征层进行融合，得到第五特征层。

进一步地，步骤e包括：

将所述第一上采样特征层对应的特征矩阵与所述第二特征层对应的特征矩阵进行矩阵加和操作，以得到第四特征层；

在该步骤中，手势识别设备获取第一上采样特征层对应的特征矩阵以及获取第二特征层对应的特征矩阵，将第一上采样特征层对应的特征矩阵与第二特征层对应的特征矩阵进行矩阵加和操作，以得到第四特征层；如：第一上采样特征层和第二特征层对应的分辨率尺寸都为128*128，即第一上采样特征层和第二特征层对应的特征矩阵都为128行128列的矩阵，手势识别设备将第一上采样特征层对应的特征矩阵与第二特征层对应的特征矩阵进行矩阵加和操作，便得到分辨率尺寸都为128*128的第四特征层。

将所述第二上采样特征层对应的特征矩阵与所述第一特征层对应的特征矩阵进行矩阵加和操作，以得到第五特征层。

在该步骤中，手势识别设备获取第二上采样特征层对应的特征矩阵以及获取第一特征层对应的特征矩阵，将第二上采样特征层对应的特征矩阵与第一特征层对应的特征矩阵进行矩阵加和操作，以得到第五特征层；如：第二上采样特征层和第二特征层对应的分辨率尺寸都为256*256，即第二上采样特征层和第一特征层对应的特征矩阵都为256行256列的矩阵，手势识别设备将第二上采样特征层对应的特征矩阵与第一特征层对应的特征矩阵进行矩阵加和操作，便得到分辨率尺寸都为256*256的第五特征层。

步骤f，基于所述第三特征层、所述第四特征层和所述第五特征层得到第二特征层集合。

在该步骤中，手势识别设备将手势图像输入特征提取网络得到第四特征层和第五特征层后，结合第三特征层，便得到了包含第三特征层、第四特征层和第五特征层的第二特征层集合。

具体地，基于第二特征层集合，确定手势图像对应的手势信息步骤包括：

步骤g，识别所述第二特征层集合中的所述第三特征层对应的手势信息、所述第四特征层对应的手势信息和所述第五特征层对应的手势信息；

在该步骤中，手势识别设备识别第二特征层集合中的第三特征层对应的手势信息、第四特征层对应的手势信息和第五特征层对应的手势信息，如：手势识别设备可通过密集框预测方法，在第三特征层、第四特征层和第五特征层中识别出对应的手势信息。

步骤h，将所述第三特征层对应的置信度、所述第四特征层对应的置信度和所述第五特征层对应的置信度进行对比，得到对比结果，并基于所述对比结果确定所述手势图像对应的手势信息。

在该步骤中，手势识别设备分别获取第三特征层对应的置信度、第四特征层对应的置信度和第五特征层对应的置信度，并将第三特征层对应的置信度、第四特征层对应的置信度和第五特征层对应的置信度进行对比，得到对比结果，并基于对比结果确定手势图像对应的手势信息。

进一步地，步骤h包括：

若所述对比结果为所述第三特征层对应的置信度大于所述第四特征层对应的置信度和所述第五特征层对应的置信度，则以所述第三特征层对应的手势信息作为所述手势图像对应的手势信息；

在该步骤中，手势识别设备若得到对比结果为第三特征层对应的置信度大于第四特征层对应的置信度和第五特征层对应的置信度，则以第三特征层对应的手势信息作为手势图像对应的手势信息。

若所述对比结果为所述第四特征层对应的置信度大于所述第三特征层对应的置信度和所述第五特征层对应的置信度，则以所述第四特征层对应的手势信息作为所述手势图像对应的手势信息；

在该步骤中，手势识别设备若得到对比结果为第四特征层对应的置信度大于第三特征层对应的置信度和第五特征层对应的置信度，则以第四特征层对应的手势信息作为手势图像对应的手势信息。

若所述对比结果为所述第五特征层对应的置信度大于所述第三特征层对应的置信度和所述第四特征层对应的置信度，则以所述第五特征层对应的手势信息作为所述手势图像对应的手势信息。

在该步骤中，手势识别设备若得到对比结果为第五特征层对应的置信度大于第三特征层对应的置信度和第四特征层对应的置信度，则以第五特征层对应的手势信息作为手势图像对应的手势信息。

需要说明的是，在手势识别设备得到手势图像对应的手势信息时，在不同的应用场景下，再利用得到的手势信息进行后续操作，如：应用在人机交互的场景下，相关操作人员需要通过手势控制机器人前进，相关操作人员用手展示出前进指令对应的手势，机器人中的手势识别设备在识别到对应的手势的手势信息即为手势的形状，即可根据手势的形状匹配对应的前进指令，从而使得机器人前进。

本实施例的手势识别设备，在检测到识别指令时，获取识别指令中对应的手势图像，并将手势图像输入特征提取网络，以通过特征提取网络中的卷积层对手势图像进行卷积操作，以得到包括第一特征层、第二特征层和第三特征层的第一特征层集合；手势识别设备对第一特征层集合中的第三特征层进行上采样得到第一上采样特征层，对第二特征层进行上采样得到第二上采样特征层，并将第一上采样特征层对应的特征矩阵与第二特征层对应的特征矩阵进行矩阵加和操作，以得到第四特征层，将第二上采样特征层对应的特征矩阵与第一特征层对应的特征矩阵进行矩阵加和操作，以得到第五特征层，进而得到包括第三特征层、第四特征层和第五特征层的第二特征层集合，再基于第二特征层集合，确定手势图像对应的手势信息，提高了对在手势图像中占比较小的手势的识别准确率，进而提高了整体手势识别的准确率。

本发明还提供一种手势识别装置。本发明手势识别装置包括：

检测模块，用于在检测到识别指令时，获取所述识别指令中对应的手势图像，并将所述手势图像输入特征提取网络，以得到第一特征层集合；

确定模块，用于对所述第一特征层集合中的特征层进行上采样和融合，以得到第二特征层集合，并基于所述第二特征层集合，确定所述手势图像对应的手势信息。

进一步地，所述检测模块还包括第一计算模块，所述第一计算模块用于：

将所述手势图像输入特征提取网络，通过所述特征提取网络中的卷积层，对所述手势图像进行卷积操作，得到第一特征层；

通过所述卷积层对所述第一特征层进行卷积操作，得到第二特征层，并通过所述卷积层对所述第二特征层进行卷积操作，得到第三特征层；

基于所述第一特征层、所述第二特征层和所述第三特征层得到第一特征层集合。

进一步地，所述确定模块还包括第二计算模块，所述第二计算模块用于：

将所述第一特征层集合中的所述第三特征层进行上采样得到第一上采样特征层，并将所述第二特征层进行上采样得到第二上采样特征层；

将所述第一上采样特征层和所述第二特征层进行融合，得到第四特征层，并将所述第二上采样特征层和所述第一特征层进行融合，得到第五特征层；

基于所述第三特征层、所述第四特征层和所述第五特征层得到第二特征层集合。

进一步地，所述第二计算模块还用于：

基于所述第二特征层的分辨率尺寸，通过双线性插值法对所述第三特征层进行上采样，得到第一上采样特征层；

基于所述第一特征层的分辨率尺寸，通过双线性插值法对所述第二特征层进行上采样，得到第二上采样特征层。

进一步地，所述第二计算模块还用于：

将所述第一上采样特征层对应的特征矩阵与所述第二特征层对应的特征矩阵进行矩阵加和操作，以得到第四特征层；

将所述第二上采样特征层对应的特征矩阵与所述第一特征层对应的特征矩阵进行矩阵加和操作，以得到第五特征层。

进一步地，所述确定模块还用于：

识别所述第二特征层集合中的所述第三特征层对应的手势信息、所述第四特征层对应的手势信息和所述第五特征层对应的手势信息；

将所述第三特征层对应的置信度、所述第四特征层对应的置信度和所述第五特征层对应的置信度进行对比，得到对比结果，并基于所述对比结果确定所述手势图像对应的手势信息。

进一步地，所述确定模块还包括对比模块，所述对比模块用于：

若所述对比结果为所述第三特征层对应的置信度大于所述第四特征层对应的置信度和所述第五特征层对应的置信度，则以所述第三特征层对应的手势信息作为所述手势图像对应的手势信息；

若所述对比结果为所述第四特征层对应的置信度大于所述第三特征层对应的置信度和所述第五特征层对应的置信度，则以所述第四特征层对应的手势信息作为所述手势图像对应的手势信息；

若所述对比结果为所述第五特征层对应的置信度大于所述第三特征层对应的置信度和所述第四特征层对应的置信度，则以所述第五特征层对应的手势信息作为所述手势图像对应的手势信息。

本发明还提供一种手势识别设备。

本发明手势识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的手势识别程序，所述手势识别程序被所述处理器执行时实现如上所述的手势识别方法的步骤。

其中，在所述处理器上运行的手势识别程序被执行时所实现的方法可参照本发明手势识别方法各个实施例，此处不再赘述。

本发明还提供一种计算机可读存储介质。

本发明计算机可读存储介质上存储有手势识别程序，所述手势识别程序被处理器执行时实现如上所述的手势识别方法的步骤。

其中，在所述处理器上运行的手势识别程序被执行时所实现的方法可参照本发明手势识别方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书与附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种手势识别方法，其特征在于，所述手势识别方法包括如下步骤：

在检测到识别指令时，获取所述识别指令中对应的手势图像，并将所述手势图像输入特征提取网络，以得到第一特征层集合；

对所述第一特征层集合中的特征层进行上采样和融合，以得到第二特征层集合，并基于所述第二特征层集合，确定所述手势图像对应的手势信息；

其中，对所述第一特征层集合中的特征层进行上采样和融合的顺序为：先对所述第一特征层集合中的特征层进行上采样，再对经过上采样的特征层进行融合；

所述将所述手势图像输入特征提取网络，以得到第一特征层集合的步骤包括：

将所述手势图像输入特征提取网络，通过所述特征提取网络中的卷积层，对所述手势图像进行卷积操作，得到第一特征层；

通过所述卷积层对所述第一特征层进行卷积操作，得到第二特征层，并通过所述卷积层对所述第二特征层进行卷积操作，得到第三特征层；

基于所述第一特征层、所述第二特征层和所述第三特征层得到第一特征层集合；

所述对所述第一特征层集合中的特征层进行上采样和融合，以得到第二特征层集合的步骤包括：

将所述第一特征层集合中的所述第三特征层进行上采样得到第一上采样特征层，并将所述第二特征层进行上采样得到第二上采样特征层；

将所述第一上采样特征层和所述第二特征层进行融合，得到第四特征层，并将所述第二上采样特征层和所述第一特征层进行融合，得到第五特征层；

基于所述第三特征层、所述第四特征层和所述第五特征层得到第二特征层集合。

2.如权利要求1所述的手势识别方法，其特征在于，所述将所述第一特征层集合中的所述第三特征层进行上采样得到第一上采样特征层，并将所述第二特征层进行上采样得到第二上采样特征层的步骤包括：

基于所述第二特征层的分辨率尺寸，通过双线性插值法对所述第三特征层进行上采样，得到第一上采样特征层；

基于所述第一特征层的分辨率尺寸，通过双线性插值法对所述第二特征层进行上采样，得到第二上采样特征层。

3.如权利要求2所述的手势识别方法，其特征在于，所述将所述第一上采样特征层和所述第二特征层进行融合，得到第四特征层，并将所述第二上采样特征层和所述第一特征层进行融合，得到第五特征层的步骤包括：

将所述第一上采样特征层对应的特征矩阵与所述第二特征层对应的特征矩阵进行矩阵加和操作，以得到第四特征层；

将所述第二上采样特征层对应的特征矩阵与所述第一特征层对应的特征矩阵进行矩阵加和操作，以得到第五特征层。

4.如权利要求1所述的手势识别方法，其特征在于，所述基于所述第二特征层集合，确定所述手势图像对应的手势信息的步骤包括：

识别所述第二特征层集合中的所述第三特征层对应的手势信息、所述第四特征层对应的手势信息和所述第五特征层对应的手势信息；

将所述第三特征层对应的置信度、所述第四特征层对应的置信度和所述第五特征层对应的置信度进行对比，得到对比结果，并基于所述对比结果确定所述手势图像对应的手势信息。

5.如权利要求4所述的手势识别方法，其特征在于，所述基于所述对比结果确定所述手势图像对应的手势信息的步骤包括：

若所述对比结果为所述第三特征层对应的置信度大于所述第四特征层对应的置信度和所述第五特征层对应的置信度，则以所述第三特征层对应的手势信息作为所述手势图像对应的手势信息；

若所述对比结果为所述第四特征层对应的置信度大于所述第三特征层对应的置信度和所述第五特征层对应的置信度，则以所述第四特征层对应的手势信息作为所述手势图像对应的手势信息；

若所述对比结果为所述第五特征层对应的置信度大于所述第三特征层对应的置信度和所述第四特征层对应的置信度，则以所述第五特征层对应的手势信息作为所述手势图像对应的手势信息。

6.一种手势识别装置，其特征在于，所述手势识别装置包括：

检测模块，用于在检测到识别指令时，获取所述识别指令中对应的手势图像，并将所述手势图像输入特征提取网络，以得到第一特征层集合；

确定模块，用于对所述第一特征层集合中的特征层进行上采样和融合，以得到第二特征层集合，并基于所述第二特征层集合，确定所述手势图像对应的手势信息；

所述确定模块，还用于对所述第一特征层集合中的特征层进行上采样和融合的顺序为：先对所述第一特征层集合中的特征层进行上采样，再对经过上采样的特征层进行融合;

所述确定模块，还用于将所述手势图像输入特征提取网络，通过所述特征提取网络中的卷积层，对所述手势图像进行卷积操作，得到第一特征层；

通过所述卷积层对所述第一特征层进行卷积操作，得到第二特征层，并通过所述卷积层对所述第二特征层进行卷积操作，得到第三特征层；

基于所述第一特征层、所述第二特征层和所述第三特征层得到第一特征层集合；

将所述第一特征层集合中的所述第三特征层进行上采样得到第一上采样特征层，并将所述第二特征层进行上采样得到第二上采样特征层；

将所述第一上采样特征层和所述第二特征层进行融合，得到第四特征层，并将所述第二上采样特征层和所述第一特征层进行融合，得到第五特征层；

基于所述第三特征层、所述第四特征层和所述第五特征层得到第二特征层集合。

7.一种手势识别设备，其特征在于，所述手势识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的手势识别程序，所述手势识别程序被所述处理器执行时实现如权利要求1至5中任一项所述的手势识别方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有手势识别程序，所述手势识别程序被处理器执行时实现如权利要求1至5中任一项所述的手势识别方法的步骤。

Images