CN109598198A - 用于识别手势移动方向的方法、装置、介质、程序及设备 - Google Patents

Abstract

本申请的实施方式公开了一种用于识别手势移动方向的方法、装置、介质、程序及设备，其中的方法包括：获取视频中连续多个视频帧的手势信息，所述手势信息包括：手势类型和手势位置；在所述多个视频帧的手势类型均为同一手势类型的情况下，根据所述手势位置确定所述多个视频帧的手势位置变化；根据所述手势位置变化确定手势移动方向。

Description

用于识别手势移动方向的方法、装置、介质、程序及设备

技术领域

本申请涉及计算机视觉技术，尤其是涉及一种用于识别手势移动方向的方法、用于识别手势移动方向的装置、电子设备、计算机可读存储介质以及计算机程序。

背景技术

手势往往可以表达出一定的含义，利用手势来实现人机交互，例如，利用手势来控制电子设备显示内容、地图导航控制或者控制拍照时间等，有利于提高人机交互的实现灵活性。

发明内容

本申请实施方式提供一种用于识别手势移动方向的技术方案。

根据本申请实施方式其中一个方面，提供一种用于识别手势移动方向的方法，所述方法包括：获取视频中连续多个视频帧的手势信息，所述手势信息包括：手势类型和手势位置；在所述多个视频帧的手势类型均为同一手势类型的情况下，根据所述手势位置确定所述多个视频帧的手势位置变化；根据所述手势位置变化确定手势移动方向。

在本申请一实施方式中，所述视频中连续多个视频帧包括：从所述视频中的第n个视频帧开始，属于预定时间范围内，且包含有效手势的视频帧。

在本申请又一实施方式中，所述手势信息还包括：覆盖手势的手势检测框，所述手势位置包括：手势检测框在显示所述手势的界面上的坐标。

在本申请再一实施方式中，所述获取视频中连续多个视频帧的手势信息包括：将所述连续多个视频帧输入用于手势检测的神经网络，由所述神经网络对所述多个视频帧分别进行手势检测；根据所述神经网络输出的信息，获得所述多个视频帧的手势信息。

在本申请再一实施方式中，所述根据所述手势位置确定所述多个视频帧的手势位置变化包括：根据所述多个视频帧中的第一个视频帧和最后一个视频帧的手势检测框的位置确定手势检测框的偏移值，所述偏移值包括x坐标方向偏移值和y坐标方向偏移值。

在本申请再一实施方式中，所述根据所述手势位置变化确定手势移动方向包括：在判断出所述x坐标方向偏移值超过x坐标方向移动最小距离，且y坐标方向偏移值的绝对值小于x坐标方向波动值的情况下，确定所述手势移动方向为向左移动。

在本申请再一实施方式中，所述根据所述手势位置变化确定手势移动方向包括：在判断出所述x坐标方向偏移值小于x坐标方向移动最小距离的负数，且y坐标方向偏移值的绝对值小于x坐标方向波动值的情况下，确定所述手势移动方向为向右移动。

在本申请再一实施方式中，所述根据所述手势位置变化确定手势移动方向包括：在判断出所述y坐标方向偏移值超过y坐标方向移动最小距离，且x坐标方向偏移值的绝对值小于y坐标方向波动值的情况下，确定所述手势移动方向为向上移动。

在本申请再一实施方式中，所述根据所述手势位置变化确定手势移动方向包括：在判断出所述y坐标方向偏移值小于y坐标方向移动最小距离的负数，且x坐标方向偏移值的绝对值小于y坐标方向波动值的情况下，确定所述手势移动方向为向下移动。

在本申请再一实施方式中，所述方法还包括：根据手势检测框的宽度与显示屏宽度的比值确定所述x坐标方向移动最小距离和/或y坐标方向移动最小距离；或者，根据手势检测框的高度与显示屏高度的比值确定所述x坐标方向移动最小距离和/或y坐标方向移动最小距离；其中，所述显示屏为与所述摄像装置连接，并播放所述视频的显示屏。

根据本申请实施方式其中另一方面，提供一种用于识别手势移动方向的装置，所述装置包括：获取手势信息模块，用于获取视频中连续多个视频帧的手势信息，所述手势信息包括：手势类型和手势位置；确定手势位置变化模块，用于在所述多个视频帧的手势类型均为同一手势类型的情况下，根据所述手势位置确定所述多个视频帧的手势位置变化；确定手势移动方向模块，用于根据所述手势位置变化确定手势移动方向。

在本申请一实施方式中，所述视频中连续多个视频帧包括：从所述视频中的第n个视频帧开始，属于预定时间范围内，且包含有效手势的视频帧。

在本申请又一实施方式中，所述手势信息还包括：覆盖手势的手势检测框，所述手势位置包括：手势检测框在显示所述手势的界面上的坐标。

在本申请再一实施方式中，所述获取手势信息模块进一步用于：将所述连续多个视频帧输入用于手势检测的神经网络，由所述神经网络对所述多个视频帧分别进行手势检测；根据所述神经网络输出的信息，获得所述多个视频帧的手势信息。

在本申请再一实施方式中，所述确定手势位置变化模块进一步用于：根据所述多个视频帧中的第一个视频帧和最后一个视频帧的手势检测框的位置确定手势检测框的偏移值，所述偏移值包括x坐标方向偏移值和y坐标方向偏移值。

在本申请再一实施方式中，所述确定手势移动方向模块进一步用于：在判断出所述x坐标方向偏移值超过x坐标方向移动最小距离，且y坐标方向偏移值的绝对值小于x坐标方向波动值的情况下，确定所述手势移动方向为向左移动。

在本申请再一实施方式中，所述确定手势移动方向模块进一步用于：在判断出所述x坐标方向偏移值小于x坐标方向移动最小距离的负数，且y坐标方向偏移值的绝对值小于x坐标方向波动值的情况下，确定所述手势移动方向为向右移动。

在本申请再一实施方式中，所述确定手势移动方向模块进一步用于：在判断出所述y坐标方向偏移值超过y坐标方向移动最小距离，且x坐标方向偏移值的绝对值小于y坐标方向波动值的情况下，确定所述手势移动方向为向上移动。

在本申请再一实施方式中，所述确定手势移动方向模块进一步用于：在判断出所述y坐标方向偏移值小于y坐标方向移动最小距离的负数，且x坐标方向偏移值的绝对值小于y坐标方向波动值的情况下，确定所述手势移动方向为向下移动。

在本申请再一实施方式中，所述装置还包括：确定最小距离模块，用于根据手势检测框的宽度与显示屏宽度的比值确定所述x坐标方向移动最小距离和/或y坐标方向移动最小距离；或者，根据手势检测框的高度与显示屏高度的比值确定所述x坐标方向移动最小距离和/或y坐标方向移动最小距离；其中，所述显示屏为与所述摄像装置连接，并播放所述视频的显示屏。

根据本申请实施方式再一个方面，提供一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求中任一项所述的方法。

根据本申请实施方式再一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本申请任一方法实施方式。

根据本申请实施方式的再一个方面，提供一种计算机程序，包括计算机指令，当所述计算机指令在设备的处理器中运行时，实现本申请任一方法实施方式。

基于本申请提供的用于识别手势移动方向的方法、用于识别手势移动方向的装置、电子设备、计算机可读存储介质及计算机程序，本申请通过在确定出连续的多个视频帧的手势类型未发生变化的情况下，根据手势位置变化确定出手势移动方向，从而可以根据手势移动方向对智能电子设备进行控制，实现人机交互。由此可知，本申请提供的技术方案有利于提高人机交互的灵活性。

下面通过附图和实施方式，对本申请的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本申请的实施方式，并且连同描述一起用于解释本申请的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：

图1为本申请的用于识别手势移动方向的方法一实施方式的流程图；

图2为本申请的用于识别手势移动方向的装置一实施方式的结构示意图；

图3为实现本申请实施方式的一示例性设备的框图。

具体实施方式

现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法以及设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应当注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本申请实施例可以应用于终端设备、计算机系统及服务器等电子设备，其可与众多其它通用或者专用的计算系统环境或者配置一起操作。适于与终端设备、计算机系统以及服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子，包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统以及服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑以及数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

示例性实施例

图1为本申请的用于识别手势移动方向的方法一个实施例的流程图。如图1所示，该实施例方法包括：步骤S100、步骤S110以及步骤S120。下面对图1中的各步骤进行详细说明。

S100、获取视频中连续多个视频帧的手势信息。

在一个可选示例中，本申请中的视频可以是摄像装置实时摄取的视频，例如，智能移动电话、智能电视、门禁系统、平板电脑、智能音箱或者车载系统等智能电子设备中的摄像头实时摄取到的视频。本申请中的连续多个视频帧可以为视频中顺序排列的多个视频帧，当然，也可以为通过抽帧方式，从摄像装置摄取到的视频中连续抽取出的，时序连续的多个视频帧。本申请中的连续多个视频帧通常可以为在预定时间范围内的所有视频帧，例如，从视频中的第n个视频帧开始，在200ms内所能播放且包含有有效手势的所有视频帧，其中的n通常为不小于1的正整数。本申请不限制连续多个视频帧所包含的视频帧的具体数量，也不限制摄取到视频的摄像装置所在的智能电子设备的具体表现形式。上述包含有有效手势的视频帧，可以是包含有完整手部内容的视频帧。

在一个可选示例中，本申请中的视频帧的手势信息通常包括：手势类型和手势位置。在手势信息包括覆盖手势的手势检测框的情况下，手势类型可以为视频帧中的手势检测框(也可以称为手势外接框等)的手势类别，且手势位置可以为视频帧中的手势检测框在显示手势的界面上的坐标。本申请中的手势检测框的手势类别可以反映出手势检测框内的表现为相应形状的手势。例如，本申请中的手势检测框的手势类别通常可以表现出用户利用单手或者利用双手所形成的具有相应形状的手势。可选的，本申请中的手势检测框的手势类别可以表现出：OK手势、剪刀手势、拳头手势、布手势、比心手势、6手势、作揖手势、点赞手势、手枪手势、爱心手势、指尖手势、双手合十手势或者托举手势等。本申请中的手势位置可以具体为位于手势检测框的对角线上的两个顶点在显示手势的界面(如视频帧)上的坐标等。手势位置还可以包括：手势检测框的中心点在显示手势的界面(如视频帧)上的坐标等。本申请不限制视频帧的手势信息所包括的具体内容、手势类别的具体表现形式以及手势位置的具体表现形式。

在一个可选示例中，本申请可以利用神经网络(如深度神经网络)，来获取视频中的任一视频帧的手势信息，例如，将视频中的每一个视频帧分别输入神经网络，进行手势检测(例如，神经网络针对输入的视频帧，执行提取特征图操作、手势检测框分类操作以及手势检测框回归操作等)，从而本申请可以根据该神经网络输出的信息，获得视频中的每一个视频帧的手势信息。本申请中的神经网络是预先利用训练图像集成功训练完成的神经网络。该训练图像集通常包含多个图像样本以及图像样本的手势检测框标注信息。训练该神经网络的过程在此不再详细说明。

在一个可选示例中，本申请中的神经网络的网络结构可以根据手势类别的分类处理以及手势位置的定位处理灵活设计，本申请实施例并不限制神经网络的具体网络结构。例如，本申请中的神经网络可以包括但不限于：卷积层、非线性Relu层、池化层以及全连接层等，该神经网络所包含的层数越多，则网络越深；可选的，本申请的神经网络的网络结构可以采用但不限于：ALexNet(以Alex Krizhevsky的名字命名的网络)、深度残差网络(DeepResidual Network，ResNet)或者VGGnet(Visual Geometry Group Network，视觉几何组网络)等神经网络所采用的网络结构。

S110、在多个视频帧的手势类型均为同一手势类型的情况下，根据手势位置确定多个视频帧的手势位置变化。

在一个可选示例中，本申请可以根据上述获得的手势信息中的手势类型判断多个视频帧的手势类型是否为同一手势类型(如OK手势类型或者剪刀手势类型等)，并在判断出手势类型为同一手势类型的情况下，根据手势信息中的手势位置确定多个视频帧的手势位置变化。而如果判断出手势类型不为同一手势类型，则本申请可以不进行后续的确定手势位置变化的操作。

在一个可选示例中，本申请可以在预定时间范围内，持续判断各视频帧的手势类型是否为同一手势类型，如果不为同一手势类型，则本次识别手势移动方向的过程结束，本申请可以重新开始下一次的识别手势移动方向的过程。而如果在预定时间范围内，各视频帧的手势类型始终为同一手势类型，则本申请可以根据该预定时间范围内的第一个视频帧的手势检测框的位置和最后一个视频帧的手势检测框的位置确定手势位置变化。本申请中的手势检测框的位置即上述视频帧中的手势检测框在显示手势的界面上的坐标。可选的，上述同一手势类型可以为同一特定手势类型。特定手势类型可以为预先设定的上述手势类型中的一个或者多个。也就是说，本申请在根据视频中连续多个视频帧的手势信息中的手势类型，确定出多个视频帧的手势类型均为同一特定手势类型的情况下，再根据视频中连续多个视频帧的手势信息中的手势位置确定多个视频帧的手势位置变化。

在一个可选示例中，本申请中的手势位置变化可以使用手势检测框的偏移值来表示，该偏移值可以包括：x坐标方向偏移值(OffsetX)和y坐标方向偏移值(OffsetY)；一个可选的例子，计算预定时间范围内的第一个视频帧的手势检测框的一个顶点(如左上角顶点)的x坐标和y坐标分别与最后一个视频帧的手势检测框的具有相同语义的顶点(如左上角顶点)的x坐标的查找和y坐标之间的差值，并将这两个差值作为多个视频帧的手势位置变化；另一个可选例子，计算预定时间范围内的第一个视频帧的手势检测框的中心点的x坐标和y坐标分别与最后一个视频帧的手势检测框的中心点的x坐标和y坐标之间的差值，并将这两个差值作为多个视频帧的手势位置变化。本申请不限制计算手势位置变化的具体实现方式。

S120、根据手势位置变化确定手势移动方向。

在一个可选示例中，本申请可以在判断出上述获得的x坐标方向偏移值超过x坐标方向移动最小距离，且y坐标方向偏移值的绝对值小于x坐标方向波动值的情况下，确定出当前手势移动方向为向左移动。

在使用mSwipe_X_Min_Distance来表示x坐标方向移动最小距离，并使用mPoint_XDiff_Value来表示x坐标方向波动值的情况下，本申请中的向左移动可以表示为：

OffsetX>mSwipe_X_Min_Distance，且|OffsetY|<mPoint_XDiff_Value；

在手势在y坐标方向(如上/下方向)的移动幅度较大的情况下，单纯的判断出手势向左移动，很可能会存在手势移动方向判断不准确的现象。本申请通过设置x坐标方向波动值，并利用x坐标方向波动值来对y坐标方向偏移值进行限制，可以避免用户的手势在上下方向的移动幅度较大的情况下，本申请确定出手势向左移动而导致的手势移动方向判断不准确的现象。

在一个可选示例中，本申请可以在判断出上述获得的x坐标方向偏移值小于x坐标方向移动最小距离的负数，且y坐标方向偏移值的绝对值小于x坐标方向波动值的情况下，确定出当前手势移动方向为向右移动。

在使用mSwipe_X_Min_Distance来表示x坐标方向移动最小距离，并使用mPoint_XDiff_Value来表示x坐标方向波动值的情况下，本申请中的向右移动可以表示为：

OffsetX<-mSwipe_X_Min_Distance，且|OffsetY|<mPoint_XDiff_Value；

在手势在y坐标方向(如上/下方向)的移动幅度较大的情况下，单纯的判断出手势向右移动，很可能会存在手势移动方向判断不准确的现象。本申请通过设置x坐标方向波动值，并利用x坐标方向波动值来对y坐标方向偏移值进行限制，可以避免用户的手势在上下方向的移动幅度较大的情况下，本申请确定出手势向右移动而导致的手势移动方向判断不准确的现象。

在一个可选示例中，本申请可以在判断出y坐标方向偏移值超过y坐标方向移动最小距离，且x坐标方向偏移值的绝对值小于y坐标方向波动值的情况下，确定出当前手势移动方向为向上移动。

在使用mSwipe_Y_Min_Distance来表示y坐标方向移动最小距离，并使用mPoint_YDiff_Value来表示y坐标方向波动值的情况下，本申请中的向上移动可以表示为：

OffsetY<mSwipe_Y_Min_Distance，且|OffsetX|<mPoint_YDiff_Value；

在手势在x坐标方向(如左/右方向)的移动幅度较大的情况下，单纯的判断出手势向上移动，很可能会存在手势移动方向判断不准确的现象。本申请通过设置y坐标方向波动值，并利用y坐标方向波动值来对x坐标方向偏移值进行限制，可以避免用户的手势在左右方向的移动幅度较大的情况下，本申请确定出手势向上移动而导致的手势移动方向判断不准确的现象。

在一个可选示例中，本申请可以在判断出y坐标方向偏移值小于y坐标方向移动最小距离的负数，且x坐标方向偏移值的绝对值小于y坐标方向波动值的情况下，确定出当前手势移动方向为向下移动。

在使用mSwipe_Y_Min_Distance来表示y坐标方向移动最小距离，并使用mPoint_YDiff_Value来表示y坐标方向波动值的情况下，本申请中的向下移动可以表示为：

OffsetY<-mSwipe_Y_Min_Distance，且|OffsetX|<mPoint_YDiff_Value。

在手势在x坐标方向(如左/右方向)的移动幅度较大的情况下，单纯的判断出手势向下移动，很可能会存在手势移动方向判断不准确的现象。本申请通过设置y坐标方向波动值，并利用y坐标方向波动值来对x坐标方向偏移值进行限制，可以避免用户的手势在左右方向的移动幅度较大的情况下，本申请确定出手势向下移动而导致的手势移动方向判断不准确的现象。

在一个可选示例中，本申请可以根据手势距离摄像装置(如智能电子设备中的摄像头)的远近(如手势距离显示屏的远近)，动态设置本申请中的x坐标方向移动最小距离mSwipe_X_Min_Distance以及y坐标方向移动最小距离mSwipe_Y_Min_Distance，从而在手势距离摄像装置越近的情况下，则动态设置的x坐标方向移动最小距离mSwipe_X_Min_Distance以及y坐标方向移动最小距离mSwipe_Y_Min_Distance均越大，而在手势距离摄像装置越远的情况下，则动态设置的x坐标方向移动最小距离mSwipe_X_Min_Distance以及y坐标方向移动最小距离mSwipe_Y_Min_Distance均越小。

在一个可选示例中，本申请可以根据手势检测框的宽度与显示屏宽度的比值来确定x坐标方向移动最小距离和y坐标方向移动最小距离。也就是说，本申请中的手势距离摄像装置的远近可以利用手势检测框的宽度(即handWidth)与显示屏宽度的比值来表示。一个具体的例子：

其中，rate＝手势检测框的宽度/(智能电子设备的显示屏的宽度×1.0f)，1.0f表示浮点数。

另外，本申请还可以根据手势检测框的高度与显示屏高度的比值，来确定x坐标方向移动最小距离和/或y坐标方向移动最小距离。再有，本申请可以将视频帧中的手势检测框的位置和摄像装置都转换到同一个三维空间中，从而可以获得视频帧中的手势检测框和摄像装置在该三维空间中的距离，即手势距离摄像装置的远近。本申请的三维空间可以为实际世界的三维空间，即基于世界坐标系的三维空间。该世界坐标系的原点可以位于任意位置。本申请不限制三维空间的具体表现形式。还有，本申请中的摄像装置通常是指与显示屏连接的摄像装置，且显示屏播放摄像装置所摄取的视频。可选的，显示屏和摄像装置集成设置在同一电子设备(如手机或者平板电脑或者计算机一体机等)中。

在一个可选示例中，本申请可以利用投影变换矩阵(也可以称为单应矩阵)，将视频帧中的手势检测框的位置和摄像装置分别转换到同一个三维空间中。本申请中的投影变换矩阵可以为预先针对摄像装置进行标定处理，从而获得的投影变换矩阵，例如，利用预先设置的棋盘格等标定设备，对摄像装置进行标定处理，从而获得投影变换矩阵。

在一个可选示例中，本申请利用投影变换矩阵，将视频帧中的手势检测框的位置转换到三维空间中的一个例子为：根据投影变换矩阵，将手势检测框的中心(或者顶点等)的坐标，转换到三维空间中，该点在三维空间中的位置被认为是手势检测框在三维空间中的位置。

本申请在获得了手势移动方向之后，如果确定出该手势移动方向对应有相应的控制命令(例如，调整声音大小或者打开相应的APP等)，则本申请可以通过执行相应的控制命令，从而实现基于手势移动的人机交互。另外，本申请可以在确定出多个连续的手势移动方向组合为相应的形状(如“Z”形状、“N”形状或者“M”形状等)，且该形状对应有相应的控制命令的情况下，本申请可以通过执行相应的形状所对应的控制命令，从而实现基于手势移动的人机交互。再有，在上述S110中的“同一手势类型”为“同一特定手势类型”的情况下，本申请可以实现基于特定手势的手势移动的人机交互。本申请不限制控制命令的具体表现形式。

图2为本申请的用于识别手势移动方向的装置一个实施例的结构示意图。如图2所示，该实施例的装置主要包括：获取手势信息模块200、确定手势位置变化模块210以及确定手势移动方向模块220。可选的，本申请的装置还可以包括：确定最小距离模块230。下面对本装置所包含的各模块分别进行详细说明。

获取手势信息模块200用于获取视频中连续多个视频帧的手势信息。

在一个可选示例中，本申请中的连续多个视频帧通常可以为在预定时间范围内的所有视频帧，例如，从视频中的第n个视频帧开始，在200ms内所能播放且包含有有效手势的所有视频帧，其中的n通常为不小于1的正整数。本申请不限制连续多个视频帧所包含的视频帧的具体数量。上述包含有有效手势的视频帧，可以是包含有完整手部内容的视频帧。

在一个可选示例中，获取手势信息模块200获取到的视频帧的手势信息通常包括：手势类型和手势位置。在手势信息包括覆盖手势的手势检测框的情况下，手势类型可以为视频帧中的手势检测框(也可以称为手势外接框等)的手势类别，且手势位置可以为视频帧中的手势检测框在显示手势的界面上的坐标。获取手势信息模块200获取到的手势检测框的手势类别可以反映出手势检测框内的表现为相应形状的手势。例如，获取手势信息模块200获取到的手势检测框的手势类别通常可以表现出用户利用单手或者利用双手所形成的具有相应形状的手势。可选的，获取手势信息模块200获取到的手势检测框的手势类别可以表现出：OK手势、剪刀手势、拳头手势、布手势、比心手势、6手势、作揖手势、点赞手势、手枪手势、爱心手势、指尖手势、双手合十手势或者托举手势等。获取手势信息模块200获取到的手势位置可以具体为位于手势检测框的对角线上的两个顶点在显示手势的界面(如视频帧)上的坐标等。手势位置还可以包括：手势检测框的中心点在显示手势的界面(如视频帧)上的坐标等。本申请不限制视频帧的手势信息所包括的具体内容、手势类别的具体表现形式以及手势位置的具体表现形式。

在一个可选示例中，获取手势信息模块200可以利用神经网络(如深度神经网络)，来获取视频中的任一视频帧的手势信息，例如，获取手势信息模块200将视频中的每一个视频帧分别输入神经网络，进行手势检测(例如，神经网络针对输入的视频帧，执行提取特征图操作、手势检测框分类操作以及手势检测框回归操作等)，从而获取手势信息模块200可以根据该神经网络输出的信息，获得视频中的每一个视频帧的手势信息。本申请中的神经网络是预先利用训练图像集成功训练完成的神经网络。该训练图像集通常包含多个图像样本以及图像样本的手势检测框标注信息。训练该神经网络的过程、以及神经网络的网络结构在此不再详细说明。

确定手势位置变化模块210用于在多个视频帧的手势类型均为同一手势类型的情况下，根据手势位置确定多个视频帧的手势位置变化。

在一个可选示例中，确定手势位置变化模块210可以根据上述获得的手势信息中的手势类型判断多个视频帧的手势类型是否为同一手势类型(如OK手势类型或者剪刀手势类型等)，确定手势位置变化模块210在判断出手势类型为同一手势类型的情况下，根据手势信息中的手势位置确定多个视频帧的手势位置变化。而如果确定手势位置变化模块210判断出手势类型不为同一手势类型，则本申请可以不进行后续的确定手势位置变化的操作。

在一个可选示例中，确定手势位置变化模块210可以在一预定时间范围内，持续判断：各视频帧的手势类型是否为同一手势类型，如果确定手势位置变化模块210判断出不为同一手势类型，则本次识别手势移动方向的过程结束，本申请的装置可以重新开始下一次的识别手势移动方向的过程。而如果确定手势位置变化模块210判断出在预定时间范围内，各视频帧的手势类型始终为同一手势类型，则确定手势位置变化模块210可以根据该预定时间范围内的第一个视频帧的手势检测框的位置和最后一个视频帧的手势检测框的位置确定手势位置变化。本申请中的手势检测框的位置即上述视频帧中的手势检测框在显示手势的界面上的坐标。可选的，上述同一手势类型可以为同一特定手势类型。特定手势类型可以为预先设定的上述手势类型中的一个或者多个。也就是说，确定手势位置变化模块210在根据视频中连续多个视频帧的手势信息中的手势类型，确定出多个视频帧的手势类型均为同一特定手势类型的情况下，确定手势位置变化模块210再根据视频中连续多个视频帧的手势信息中的手势位置确定多个视频帧的手势位置变化。

在一个可选示例中，本申请中的手势位置变化可以使用手势检测框的偏移值来表示，该偏移值可以包括：x坐标方向偏移值(OffsetX)和y坐标方向偏移值(OffsetY)；一个可选的例子，确定手势位置变化模块210计算预定时间范围内的第一个视频帧的手势检测框的一个顶点(如左上角顶点)的x坐标和y坐标分别与最后一个视频帧的手势检测框的具有相同语义的顶点(如左上角顶点)的x坐标的查找和y坐标之间的差值，确定手势位置变化模块210将这两个差值作为多个视频帧的手势位置变化；另一个可选例子，确定手势位置变化模块210计算预定时间范围内的第一个视频帧的手势检测框的中心点的x坐标和y坐标分别与最后一个视频帧的手势检测框的中心点的x坐标和y坐标之间的差值，确定手势位置变化模块210将这两个差值作为多个视频帧的手势位置变化。本申请不限制确定手势位置变化模块210计算手势位置变化的具体实现方式。

确定手势移动方向模块220用于根据手势位置变化确定手势移动方向。

在一个可选示例中，确定手势移动方向模块220可以在判断出上述获得的x坐标方向偏移值超过x坐标方向移动最小距离，且y坐标方向偏移值的绝对值小于x坐标方向波动值的情况下，确定出当前手势移动方向为向左移动。

在使用mSwipe_X_Min_Distance来表示x坐标方向移动最小距离，并使用mPoint_XDiff_Value来表示x坐标方向波动值的情况下，本申请中的向左移动可以表示为：

OffsetX>mSwipe_X_Min_Distance，且|OffsetY|<mPoint_XDiff_Value；

在手势在y坐标方向(如上/下方向)的移动幅度较大的情况下，单纯的判断出手势向左移动，很可能会存在手势移动方向判断不准确的现象。本申请通过设置x坐标方向波动值，并利用x坐标方向波动值来对y坐标方向偏移值进行限制，可以避免用户的手势在上下方向的移动幅度较大的情况下，确定手势移动方向模块220确定出手势向左移动而导致的手势移动方向判断不准确的现象。

在一个可选示例中，确定手势移动方向模块220可以在判断出上述获得的x坐标方向偏移值小于x坐标方向移动最小距离的负数，且y坐标方向偏移值的绝对值小于x坐标方向波动值的情况下，确定出当前手势移动方向为向右移动。

在使用mSwipe_X_Min_Distance来表示x坐标方向移动最小距离，并使用mPoint_XDiff_Value来表示x坐标方向波动值的情况下，确定手势移动方向模块220所确定出的向右移动可以表示为：

OffsetX<-mSwipe_X_Min_Distance，且|OffsetY|<mPoint_XDiff_Value；

在手势在y坐标方向(如上/下方向)的移动幅度较大的情况下，确定手势移动方向模块220单纯的判断出手势向右移动，很可能会存在手势移动方向判断不准确的现象。本申请通过设置x坐标方向波动值，并利用x坐标方向波动值来对y坐标方向偏移值进行限制，可以避免用户的手势在上下方向的移动幅度较大的情况下，确定手势移动方向模块220确定出手势向右移动而导致的手势移动方向判断不准确的现象。

在一个可选示例中，确定手势移动方向模块220可以在判断出y坐标方向偏移值超过y坐标方向移动最小距离，且x坐标方向偏移值的绝对值小于y坐标方向波动值的情况下，确定出当前手势移动方向为向上移动。

在使用mSwipe_Y_Min_Distance来表示y坐标方向移动最小距离，并使用mPoint_YDiff_Value来表示y坐标方向波动值的情况下，确定手势移动方向模块220确定出的向上移动可以表示为：

OffsetY<mSwipe_Y_Min_Distance，且|OffsetX|<mPoint_YDiff_Value；

在手势在x坐标方向(如左/右方向)的移动幅度较大的情况下，确定手势移动方向模块220单纯的判断出手势向上移动，很可能会存在手势移动方向判断不准确的现象。本申请通过设置y坐标方向波动值，并利用y坐标方向波动值来对x坐标方向偏移值进行限制，可以避免用户的手势在左右方向的移动幅度较大的情况下，确定手势移动方向模块220确定出手势向上移动而导致的手势移动方向判断不准确的现象。

在一个可选示例中，确定手势移动方向模块220可以在判断出y坐标方向偏移值小于y坐标方向移动最小距离的负数，且x坐标方向偏移值的绝对值小于y坐标方向波动值的情况下，确定出当前手势移动方向为向下移动。

在使用mSwipe_Y_Min_Distance来表示y坐标方向移动最小距离，并使用mPoint_YDiff_Value来表示y坐标方向波动值的情况下，确定手势移动方向模块220确定出的向下移动可以表示为：

OffsetY<-mSwipe_Y_Min_Distance，且|OffsetX|<mPoint_YDiff_Value。

在手势在x坐标方向(如左/右方向)的移动幅度较大的情况下，确定手势移动方向模块220单纯的判断出手势向下移动，很可能会存在手势移动方向判断不准确的现象。本申请通过设置y坐标方向波动值，并利用y坐标方向波动值来对x坐标方向偏移值进行限制，可以避免用户的手势在左右方向的移动幅度较大的情况下，确定手势移动方向模块220确定出手势向下移动而导致的手势移动方向判断不准确的现象。

在一个可选示例中，确定最小距离模块230可以用于根据手势检测框的宽度与显示屏宽度的比值确定x坐标方向移动最小距离和/或y坐标方向移动最小距离。在另一个可选示例中，确定最小距离模块230可以用于根据手势检测框的高度与显示屏高度的比值确定x坐标方向移动最小距离和/或y坐标方向移动最小距离。其中，显示屏为与摄像装置连接，并播放视频的显示屏。

在一个可选示例中，确定最小距离模块230可以根据手势距离摄像装置(如智能电子设备中的摄像头)的远近(如手势距离显示屏的远近)，动态设置本申请中的x坐标方向移动最小距离mSwipe_X_Min_Distance以及y坐标方向移动最小距离mSwipe_Y_Min_Distance，从而在手势距离摄像装置越近的情况下，则确定最小距离模块230动态设置的x坐标方向移动最小距离mSwipe_X_Min_Distance及y坐标方向移动最小距离mSwipe_Y_Min_Distance均越大，而在手势距离摄像装置越远的情况下，则确定最小距离模块230动态设置的x坐标方向移动最小距离mSwipe_X_Min_Distance以及y坐标方向移动最小距离mSwipe_Y_Min_Distance均越小。

在一个可选示例中，确定最小距离模块230可以根据手势检测框的宽度与显示屏宽度的比值，来确定x坐标方向移动最小距离以及y坐标方向移动最小距离。也就是说，本申请中的手势距离摄像装置的远近可以利用手势检测框的宽度(即handWidth)与显示屏宽度的比值来表示。

另外，确定最小距离模块230还可以根据手势检测框的高度与显示屏高度的比值，来确定x坐标方向移动最小距离和/或y坐标方向移动最小距离。再有，确定最小距离模块230可以将视频帧中的手势检测框的位置和摄像装置都转换到同一个三维空间中，从而确定最小距离模块230可以获得视频帧中的手势检测框和摄像装置在该三维空间中的距离，即手势距离摄像装置的远近。本申请的三维空间可以为实际世界的三维空间，即基于世界坐标系的三维空间。该世界坐标系的原点可以位于任意位置。本申请不限制三维空间的具体表现形式。

在一个可选示例中，确定最小距离模块230可以利用投影变换矩阵(也可以称为单应矩阵)，将视频帧中的手势检测框的位置和摄像装置分别转换到同一个三维空间中。本申请中的投影变换矩阵可以为预先针对摄像装置进行标定处理，从而获得的投影变换矩阵，例如，确定最小距离模块230利用预先设置的棋盘格等标定设备，对摄像装置进行标定处理，从而获得投影变换矩阵。

在一个可选示例中，确定最小距离模块230利用投影变换矩阵，将视频帧中的手势检测框的位置转换到三维空间中的一个例子为：确定最小距离模块230可以根据投影变换矩阵，将手势检测框的中心(或者顶点等)的坐标，转换到三维空间中，该点在三维空间中的位置被认为是手势检测框在三维空间中的位置。

在确定手势移动方向模块220获得了手势移动方向之后，如果确定手势移动方向模块220确定出该手势移动方向对应有相应的控制命令(例如，调整声音大小或者打开相应的APP等)，则本申请的装置可以通过执行相应的控制命令，从而实现基于手势移动的人机交互。另外，本申请的装置可以在确定手势移动方向模块220确定出多个连续的手势移动方向组合为相应的形状(如“Z”形状、“N”形状或者“M”形状等)，且该形状对应有相应的控制命令的情况下，本申请的装置可以通过执行相应的形状所对应的控制命令，从而实现基于手势移动的人机交互。再有，在确定手势位置变化模块210所使用的“同一手势类型”为“同一特定手势类型”的情况下，本申请可以实现基于特定手势的手势移动的人机交互。本申请不限制控制命令的具体表现形式。

示例性设备

图3示出了适于实现本申请的示例性设备300，设备300可以是机动车辆中配置的控制系统/电子系统、移动终端(例如，智能移动电话等)、个人计算机(PC，例如，台式计算机或笔记型计算机等)、平板电脑以及服务器等。图3中，设备300包括一个或者多个处理器、通信部等，所述一个或者多个处理器可以为：一个或者多个中央处理单元(CPU)301，和/或，一个或者多个利用神经网络进行用于识别手势移动方向的图像处理器(GPU)313等，处理器可以根据存储在只读存储器(ROM)302中的可执行指令或者从存储部分308加载到随机访问存储器(RAM)303中的可执行指令而执行各种适当的动作和处理。通信部312可以包括但不限于网卡，所述网卡可以包括但不限于IB(Infiniband)网卡。处理器可与只读存储器302和/或随机访问存储器303中通信以执行可执行指令，通过总线304与通信部312相连、并经通信部312与其他目标设备通信，从而完成本申请中的相应步骤。

上述各指令所执行的操作可以参见上述方法实施例中的相关描述，在此不再详细说明。此外，在RAM 303中，还可以存储有装置操作所需的各种程序以及数据。CPU301、ROM302以及RAM303通过总线304彼此相连。在有RAM303的情况下，ROM302为可选模块。RAM303存储可执行指令，或在运行时向ROM302中写入可执行指令，可执行指令使中央处理单元301执行上述用于识别手势移动方向的方法所包括的步骤。I/O(输入/输出)接口305也连接至总线304。通信部312可以集成设置，也可以设置为具有多个子模块(例如，多个IB网卡)，并分别与总线连接。

以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等显示元件以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装在存储部分308中。

需要特别说明的是，如图3所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图3的部件数量和类型进行选择、删减、增加或者替换；在不同功能部件设置上，也可采用分离设置或者集成设置等实现方式，例如，GPU313和CPU301可分离设置，再如，可将GPU313集成在CPU301上，通信部可分离设置，也可集成设置在CPU301或GPU313上等。这些可替换的实施方式均落入本申请的保护范围。

特别地，根据本申请的实施方式，下文参考流程图描述的过程可以被实现为计算机软件程序，例如，本申请实施方式包括一种计算机程序产品，其包含有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的步骤的程序代码，程序代码可包括对应执行本申请提供的方法中的步骤对应的指令。

在这样的实施方式中，该计算机程序可以通过通信部分309从网络上被下载及安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本申请中记载的实现上述相应步骤的指令。

在一个或多个可选实施方式中，本公开实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任意实施例中所述的用于识别手势移动方向的方法。

该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，所述计算机程序产品具体体现为软件产品，例如软件开发包(SoftwareDevelopment Kit，SDK)等等。

在一个或多个可选实施方式中，本公开实施例还提供了另一种用于识别手势移动方向的方法及其对应的装置和电子设备、计算机存储介质、计算机程序以及计算机程序产品，其中的方法包括：第一装置向第二装置发送用于识别手势移动方向的指示，该指示使得第二装置执行上述任一可能的实施例中的用于识别手势移动方向的方法；第一装置接收第二装置发送的用于识别手势移动方向的结果。

在一些实施例中，用于识别手势移动方向的指示可以具体为调用指令，第一装置可以通过调用的方式，指示第二装置执行用于识别手势移动方向的操作，相应地，响应于接收到的调用指令，第二装置可以执行上述用于识别手势移动方向的方法中的任意实施例中的步骤和/或流程。

应理解，本公开实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本公开实施例的限定。还应理解，在本公开中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。还应理解，对于本公开中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

可能以许多方式来实现本申请的方法和装置、电子设备以及计算机可读存储介质。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、电子设备以及计算机可读存储介质。用于方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施方式中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。

本申请的描述，是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言，是显然的。选择和描述实施方式是为了更好说明本申请的原理以及实际应用，并且使本领域的普通技术人员能够理解本申请实施例可以从而设计适于特定用途的带有各种修改的各种实施方式。

Claims (10)

1.一种用于识别手势移动方向的方法，其特征在于，包括：

获取视频中连续多个视频帧的手势信息，所述手势信息包括：手势类型和手势位置；

在所述多个视频帧的手势类型均为同一手势类型的情况下，根据所述手势位置确定所述多个视频帧的手势位置变化；

根据所述手势位置变化确定手势移动方向。

2.根据权利要求1所述的方法，其特征在于，所述视频中连续多个视频帧包括：从所述视频中的第n个视频帧开始，属于预定时间范围内，且包含有效手势的视频帧。

3.根据权利要求1或2所述的方法，其特征在于，所述手势信息还包括：覆盖手势的手势检测框，所述手势位置包括：手势检测框在显示所述手势的界面上的坐标。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述获取视频中连续多个视频帧的手势信息包括：

将所述连续多个视频帧输入用于手势检测的神经网络，由所述神经网络对所述多个视频帧分别进行手势检测；

根据所述神经网络输出的信息，获得所述多个视频帧的手势信息。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述手势位置确定所述多个视频帧的手势位置变化包括：

根据所述多个视频帧中的第一个视频帧和最后一个视频帧的手势检测框的位置确定手势检测框的偏移值，所述偏移值包括x坐标方向偏移值和y坐标方向偏移值。

6.根据权利要求5所述的方法，其特征在于，所述根据所述手势位置变化确定手势移动方向包括：

在判断出所述x坐标方向偏移值超过x坐标方向移动最小距离，且y坐标方向偏移值的绝对值小于x坐标方向波动值的情况下，确定所述手势移动方向为向左移动。

7.一种用于识别手势移动方向的装置，其特征在于，包括：

获取手势信息模块，用于获取视频中连续多个视频帧的手势信息，所述手势信息包括：手势类型和手势位置；

确定手势位置变化模块，用于在所述多个视频帧的手势类型均为同一手势类型的情况下，根据所述手势位置确定所述多个视频帧的手势位置变化；

确定手势移动方向模块，用于根据所述手势位置变化确定手势移动方向。

8.一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-6中任一项所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述权利要求1-6中任一项所述的方法。

10.一种计算机程序，包括计算机指令，当所述计算机指令在设备的处理器中运行时，实现上述权利要求1-6中任一项所述的方法。