CN110764616A - 手势控制方法和装置 - Google Patents

Abstract

本公开实施例提供一种手势控制方法和装置，其中方法包括：对摄像头采集到的视频流中的多帧手势图像进行手势识别处理，得到当前识别到的目标手势识别结果；根据所述目标手势识别结果、以及与所述目标手势识别结果在所述视频流中具有时序关联的关联手势识别结果，确定所述目标手势识别结果对应的控制指令，其中，所述目标手势识别结果与所述关联手势识别结果不同；向目标设备发送所述控制指令，或者，根据所述控制指令控制目标设备执行与所述目标手势识别结果对应的操作。

Description

手势控制方法和装置

技术领域

本公开涉及图像处理技术，具体涉及一种手势控制方法和装置。

背景技术

随着产品智能化、电子化以及互联化的不断发展和普及，出现了很多越来越智能化的人机交互方式，以满足人们追求个性化和时尚化的需求。例如，智能手机的触屏是一种通过触摸来实现的人机交互系统。还有一些通过语音交互进行控制的产品，比如，用户只要语音输入相关指令，产品就能根据语音输入的指令执行相关的操作。

发明内容

有鉴于此，本公开实施例至少提供一种手势控制方法和装置。

第一方面，提供一种手势控制方法，所述方法包括：

对摄像头采集到的视频流中的多帧手势图像进行手势识别处理，得到当前识别到的目标手势识别结果；

根据所述目标手势识别结果、以及与所述目标手势识别结果在所述视频流中具有时序关联的关联手势识别结果，确定所述目标手势识别结果对应的控制指令，其中，所述目标手势识别结果与所述关联手势识别结果不同；

向目标设备发送所述控制指令，或者，根据所述控制指令控制目标设备执行与所述目标手势识别结果对应的操作。

结合本公开的任一实施方式，所述根据所述目标手势识别结果、以及与所述目标手势识别结果在所述视频流中具有时序关联的关联手势识别结果，确定所述目标手势识别结果对应的控制指令，包括：获取在先手势识别结果，所述在先手势识别结果对应的视频帧在所述视频流的时序中位于所述目标手势识别结果对应的视频帧之前；根据所述在先手势识别结果和目标手势识别结果，确定所述目标手势识别结果对应的控制指令。

结合本公开的任一实施方式，所述根据所述目标手势识别结果、以及与所述目标手势识别结果在所述视频流中具有时序关联的关联手势识别结果，确定所述目标手势识别结果对应的控制指令，包括：获取在后手势识别结果，所述在后手势识别结果对应的视频帧在所述视频流的时序中位于所述目标手势识别结果对应的视频帧之后；根据所述在后手势识别结果和目标手势识别结果，确定对应的控制指令。

结合本公开的任一实施方式，所述根据所述目标手势识别结果在所述视频流中的时序关联的手势识别结果，确定所述目标手势识别结果对应的控制指令，包括：获取在先手势识别结果和在后手势识别结果，所述在先手势识别结果在所述视频流的时序中位于所述目标手势识别结果之前，所述在后手势识别结果在所述视频流的时序中位于所述目标手势识别结果之后；根据所述在先手势识别结果、在后手势识别结果和目标手势识别结果，确定对应的控制指令。

结合本公开的任一实施方式，所述根据所述目标手势识别结果、以及与所述目标手势识别结果在所述视频流中具有时序关联的关联手势识别结果，确定所述目标手势识别结果对应的控制指令，包括：根据预设的第一映射关系，确定所述关联手势识别结果对应的目标手势控制场景信息；所述第一映射关系包括：各个关联手势识别结果与手势控制场景信息之间的对应关系，所述手势控制场景信息中包括目标手势控制场景信息；根据所述目标手势控制场景信息对应的第二映射关系，获取所述目标手势识别结果对应的控制指令；所述第二映射关系包括：各个手势识别结果与对应的控制指令，所述各个手势识别结果中包括所述目标手势识别结果；其中，所述第一映射关系中包括的各个手势控制场景信息分别对应的第二映射关系中，包括至少一种相同的手势识别结果。

结合本公开的任一实施方式，所述手势控制场景信息，包括：车辆中的如下任一项控制场景：车窗控制、多媒体播放控制、灯光亮度控制、空调温度调节、互动娱乐媒体控制。

结合本公开的任一实施方式，所述根据所述目标手势识别结果、以及与所述目标手势识别结果在所述视频流中具有时序关联的关联手势识别结果，确定所述目标手势识别结果对应的控制指令，包括：确认在所述目标手势识别结果之前是否已经识别到所述关联手势识别结果；所述目标手势识别结果和关联手势识别结果对应同一个手势控制场景信息；响应于已经识别到所述关联手势识别结果，根据所述目标手势识别结果在所述手势控制场景信息下对应的控制指令进行设备控制；和/或，响应于未识别到所述关联手势识别结果，禁止根据所述控制指令进行设备控制。

结合本公开的任一实施方式，所述向目标设备发送所述控制指令，或者，根据所述控制指令控制目标设备执行与所述目标手势识别结果对应的操作，包括：向车辆中的功能组件发送与所述目标手势识别结果对应的控制指令；或者，控制车辆中的功能组件执行与所述目标手势识别结果对应的操作。

结合本公开的任一实施方式，所述对摄像头采集到的视频流中的多帧手势图像进行手势识别处理，得到当前识别到的目标手势识别结果，包括：若所述视频流中的多帧手势图像检测到连续预设数量的多个相同手势识别结果，则将所述相同手势识别结果作为所述目标手势识别结果。

第二方面，提供一种手势控制装置，所述装置包括：

识别处理模块，用于对摄像头采集到的视频流中的多帧手势图像进行手势识别处理，得到当前识别到的目标手势识别结果；

指令确定模块，用于根据所述目标手势识别结果、以及与所述目标手势识别结果在所述视频流中具有时序关联的关联手势识别结果，确定所述目标手势识别结果对应的控制指令，其中，所述目标手势识别结果与所述关联手势识别结果不同；

操作控制模块，用于向目标设备发送所述控制指令，或者，根据所述控制指令控制目标设备执行与所述目标手势识别结果对应的操作。

结合本公开的任一实施方式，所述指令确定模块，具体用于：获取在先手势识别结果，所述在先手势识别结果对应的视频帧在所述视频流的时序中位于所述目标手势识别结果对应的视频帧之前；根据所述在先手势识别结果和目标手势识别结果，确定所述目标手势识别结果对应的控制指令。

结合本公开的任一实施方式，所述指令确定模块，具体用于：获取在后手势识别结果，所述在后手势识别结果对应的视频帧在所述视频流的时序中位于所述目标手势识别结果对应的视频帧之后；根据所述在后手势识别结果和目标手势识别结果，确定对应的控制指令。

结合本公开的任一实施方式，所述指令确定模块，具体用于：获取在先手势识别结果和在后手势识别结果，所述在先手势识别结果在所述视频流的时序中位于所述目标手势识别结果之前，所述在后手势识别结果在所述视频流的时序中位于所述目标手势识别结果之后；根据所述在先手势识别结果、在后手势识别结果和目标手势识别结果，确定对应的控制指令。

结合本公开的任一实施方式，所述指令确定模块，具体用于：根据预设的第一映射关系，确定所述关联手势识别结果对应的目标手势控制场景信息；所述第一映射关系包括：各个关联手势识别结果与手势控制场景信息之间的对应关系，所述手势控制场景信息中包括目标手势控制场景信息；根据所述目标手势控制场景信息对应的第二映射关系，获取所述目标手势识别结果对应的控制指令；所述第二映射关系包括：各个手势识别结果与对应的控制指令，所述各个手势识别结果中包括所述目标手势识别结果；其中，所述第一映射关系中包括的各个手势控制场景信息分别对应的第二映射关系中，包括至少一种相同的手势识别结果。

结合本公开的任一实施方式，所述手势控制场景信息，包括：车辆中的如下任一项控制场景：车窗控制、多媒体播放控制、灯光亮度控制、空调温度调节、互动娱乐媒体控制。

结合本公开的任一实施方式，所述指令确定模块，具体用于：确认在所述目标手势识别结果之前是否已经识别到所述关联手势识别结果；所述目标手势识别结果和关联手势识别结果对应同一个手势控制场景信息；响应于已经识别到所述关联手势识别结果，根据所述目标手势识别结果在所述手势控制场景信息下对应的控制指令进行设备控制；和/或，响应于未识别到所述关联手势识别结果，禁止根据所述控制指令进行设备控制。

结合本公开的任一实施方式，所述操作控制模块，具体用于：向车辆中的功能组件发送与所述目标手势识别结果对应的控制指令；或者，控制车辆中的功能组件执行与所述目标手势识别结果对应的操作。

结合本公开的任一实施方式，所述识别处理模块，具体用于：若所述视频流中的多帧手势图像检测到连续预设数量的多个相同手势识别结果，则将所述相同手势识别结果作为所述目标手势识别结果。

第三方面，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施例所述的手势控制方法。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的手势控制方法。

本公开实施例提供的手势控制方法和装置，通过结合关联手势识别结果来确定目标手势识别结果对应的控制指令，使得一个控制指令的获得可以结合至少两种手势识别结果来确定，即使是相同的目标手势识别结果，只要结合不同的关联手势识别结果就可以得到对应不同的控制指令，从而该目标手势识别结果具有了更好的复用性，同一个手势识别结果可以对应不同的控制指令，使得能够以较少数量的手势实现较丰富的操作控制，换而言之，相对独立手势单独控制的方案而言，采用本公开实施例的技术方案进行同样量级的操作控制所需的手势数量较少，有利于用户用熟悉的少量手势完成丰富的人机交互控制，改善用户体验，也降低了开发或训练可用于识别多手势的算法复杂度，实施更方便。

附图说明

为了更清楚地说明本公开一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了本公开至少一个实施例提供的一种手势控制方法的流程图；

图2示出了本公开至少一个实施例提供的另一种手势控制方法的流程图；

图3示出了本公开至少一个实施例提供的又一种手势控制方法的流程图；

图4示出了本公开至少一个实施例提供的一种音乐播放器的手势控制界面；

图5示出了本公开至少一个实施例提供的一种手势控制装置的结构示意图；

图6示出了本公开至少一个实施例提供的一种电子设备的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本公开一个或多个实施例中的技术方案，下面将结合本公开一个或多个实施例中的附图，对本公开一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。

本公开实施例提供了一种区别于语音交互控制或者触摸交互控制的手势控制方法，通过手势交互的方式进行设备控制。

请参见图1，图1提供了一示例性的手势控制方法，该方法可以包括：

在步骤100中，对摄像头采集到的视频流中的多帧手势图像进行手势识别处理，得到当前识别到的目标手势识别结果。

当用户要控制一个设备启用其中的某项功能时，可以做出某种手势。该设备可以称为目标设备，对目标设备进行控制可以是控制该目标设备中的功能组件，该功能组件可以是硬件或者软件模块。在一个示例中，所述目标设备可以包括但不限于车辆，对目标设备进行控制，可以包括但不限于对车辆中设置的媒体播放器、空调控制器、车窗控制器等一个或多个功能组件的控制。

本步骤中，摄像头可以是采集用户进行做手势的视频流，例如，可以用车载摄像头采集车内人员做手势时的视频流。该视频流中包括摄像头采集的时序连续的多帧手势图像，所述手势图像中的手势是用户要控制目标设备中的功能组件运行时做出的手势。

通过对上述的视频流中的多帧手势图像分别进行手势识别处理，可以得到手势识别结果序列，该序列中包括多个手势识别结果，比如，该序列可以是“V、V、V、V、V”，即识别到了5个V手势。

上述例子中的“V、V、V、V、V”中的最后一个V手势，例如可以是当前最新得到的手势识别结果，该结果可以称为当前识别到的目标手势识别结果。即本步骤中的目标手势识别结果是当前识别到的结果。需要说明的是，上述序列“V、V、V、V、V”中的每一个V手势的识别，都可以是按照如下方式：若所述视频流中的多帧手势图像检测到连续预设数量的多个相同手势识别结果，则将所述相同手势识别结果作为所述目标手势识别结果。即其中每一个V手势的识别都按照连续检测到预设数量的多个V才确认检测到V手势。

在步骤102中，根据所述目标手势识别结果、以及与所述目标手势识别结果在所述视频流中具有时序关联的关联手势识别结果，确定所述目标手势识别结果对应的控制指令。

其中，所述目标手势识别结果与所述关联手势识别结果不同，例如，目标手势识别结果是V手势，关联手势识别结果是OK手势。

本步骤中，与目标手势识别结果在视频流中具有时序关联的关联手势识别结果，可以是在时序上位于目标手势识别结果之前先识别到的手势识别结果，该结果可以称为在先手势识别结果，在先手势识别结果对应的视频帧在视频流的时序中位于目标手势识别结果对应的视频帧之前。关联手势识别结果也可以是在时序上位于目标手势识别结果之后识别到的手势识别结果，该结果可以称为在后手势识别结果，在后手势识别结果对应的视频帧在视频流的时序中位于所述目标手势识别结果对应的视频帧之后。

例如，在识别到的序列“OK、OK、V、拳头、拳头”中，假设将V手势作为当前识别到的目标手势识别结果，那么，前两个OK手势中的任一个都可以称为关联手势识别结果，这些关联手势识别结果是在目标手势识别结果之前识别到的；后两个拳头手势中的任一个也都可以称为关联手势识别结果，这些关联手势识别结果是在目标手势识别结果之后识别到的。

本步骤中，根据目标手势识别结果和关联手势识别结果，确定目标手势识别结果对应的控制指令，可以通过关联手势识别结果对应的控制指令的含义辅助确定目标手势识别结果的控制指令。举例来说，假设关联手势识别结果对应的控制指令是进入音乐播放器的控制场景，那么，目标手势识别结果对应的控制指令就是在该音乐播放器的控制场景下对应的控制指令。

本实施例并不限制具体结合的关联手势识别结果的数量、或者该关联手势识别结果与目标手势识别结果的时序关系。

例如，可以结合一个关联手势识别结果确定目标手势识别结果对应的控制指令，也可以是结合三个关联手势识别结果确定目标手势识别结果对应的控制指令。

又例如，可以是结合目标手势识别结果和在先手势识别结果，确定目标手势识别结果对应的控制指令；也可以是结合目标手势识别结果和在后手势识别结果，确定目标手势识别结果对应的控制指令。还可以是结合目标手势识别结果、在先手势识别结果和在后手势识别结果，确定目标手势识别结果对应的控制指令。

在步骤104中，向目标设备发送所述控制指令，或者，根据所述控制指令控制目标设备执行与所述目标手势识别结果对应的操作。

本步骤可以根据上述识别到的目标手势识别结果，控制对应的目标设备。具体可以是控制目标设备中的功能组件，例如，如果该功能组件是车辆中播放音乐的音量控制模块，那么根据目标手势识别结果，可以控制音量的提高或者降低。在实际实施时，可以是向目标设备发送与目标手势识别结果对应的控制指令，由目标设备根据该指令进行操作；或者，还可以是由本实施例的手势控制装置根据该指令控制目标设备执行与所述目标手势识别结果对应的操作。

本实施例的手势控制方法，通过结合关联手势识别结果来确定目标手势识别结果对应的控制指令，使得一个控制指令的获得可以结合至少两种手势识别结果来确定，即使是相同的目标手势识别结果，只要结合不同的关联手势识别结果就可以得到对应不同的控制指令，从而该目标手势识别结果具有了更好的复用性，同一个手势识别结果可以对应不同的控制指令，使得能够以较少数量的手势实现较丰富的操作控制，换而言之，相对独立手势单独控制的方案而言，采用本公开实施例的技术方案进行同样量级的操作控制所需的手势数量较少，有利于用户用熟悉的少量手势完成丰富的人机交互控制，改善用户体验，也降低了开发或训练可用于识别多手势的算法复杂度。

图2提供了本公开另一实施例的手势控制方法，该方法可以包括如下处理，其中，与图1的流程相同的步骤将不再详述。本实施例是以将相同的手势识别结果应用于多种场景为例，描述如何根据本实施例的手势控制方法实现少量手势在多种手势控制场景下的手势控制。

例如，该手势控制场景可以是如下的任一种场景：车窗控制、多媒体播放控制、灯光亮度控制、空调温度调节、互动娱乐媒体控制。在该实施例的描述中，以车辆的手势控制为例，并且以车辆中的车窗控制、音乐播放器的控制以及空调温度调节这三种场景为例进行说明。

步骤200中，对摄像头采集到的视频流中的多帧手势图像进行手势识别处理，得到当前识别到的目标手势识别结果。

在步骤202中，根据预设的第一映射关系，确定所述关联手势识别结果对应的目标手势控制场景信息。

例如，假设当前场景是默认的场景“空调温度调节”，在该当前默认场景下再设置各个进入其他场景的手势。比如，“手掌”手势可以触发由场景“空调温度调节”进入到场景“音乐播放器的控制”，设置“OK”手势可以触发由场景“空调温度调节”进入到场景“车窗控制”。

如上，可以设置如下表1的第一映射关系，该第一映射关系包括：各个关联手势识别结果与手势控制场景信息之间的对应关系。

表1第一映射关系

手势识别结果	手势控制场景信息
		OK	车窗控制
手掌	音乐播放器的控制

本步骤中所述的确定所述关联手势识别结果对应的目标手势控制场景信息，例如，可以是根据在先手势识别结果“手掌手势”得到当前的目标手势控制场景信息是“音乐播放器的控制”。

在步骤204中，根据所述目标手势控制场景信息对应的第二映射关系，获取所述目标手势识别结果对应的控制指令。

仍以表1为例，在表1示例的两个场景“车窗控制”和“音乐播放器的控制”中，假设也分别具有第二映射关系，该第二映射关系包括：各个手势识别结果与对应的控制指令。比如，表2是“车窗控制”对应的部分手势和指令的对应关系；表3是“音乐播放器的控制”对应的部分手势和指令的对应关系。

表2第二映射关系示例1

手势识别结果	控制指令
		手掌向上平移	车窗向上移动
手掌向下平移	车窗向下移动
		拳头	停止上/下移动

表3第二映射关系示例2

示例性的，假设已经根据第一映射关系确定了当前的场景是音乐播放器的控制，并且检测到的当前的目标手势识别结果是“拳头”，查找表3的第二映射关系可以得到，该“拳头”手势对应的控制指令是静音，即设置音乐播放器为静音。

此外，由上述表2和表3还可以看到，第一映射关系中包括的各个手势控制场景信息分别对应的第二映射关系中，包括至少一种相同的手势识别结果。比如，表2和表3中都包括“拳头”手势，只是在不同的场景下对应的控制指令不同。

在步骤206中，向目标设备发送所述控制指令，或者，根据所述控制指令控制目标设备执行与所述目标手势识别结果对应的操作。

本实施例的手势控制方法，通过将相同的手势识别结果在不同的控制场景中设置对应不同的控制指令，使得能够灵活方便的以少量手势实现对多种场景的控制。这对于具有多场景手势控制的需求的设备来说，提高了手势多场景控制的实施便利性和实施效率。

图3提供了本公开另一实施例的手势控制方法，该方法可以包括如下处理，其中，与图1的流程相同的步骤将不再详述。该方法包括如下处理：

在步骤300中，对摄像头采集到的视频流中的多帧手势图像进行手势识别处理，得到当前识别到的目标手势识别结果。

在步骤302中，确认在目标手势识别结果之前是否已经识别到关联手势识别结果；所述目标手势识别结果和关联手势识别结果对应同一个手势控制场景信息。

例如，上述表2的例子中，“拳头”手势和“手掌向上平移”手势都是“车窗控制”场景下的手势识别结果，“拳头”手势可以称为当前识别到的目标手势识别结果；“手掌向上平移”手势可以称为关联手势识别结果。

本步骤中，可以是已经处于“车窗控制”场景下，并且可以是判断在识别到“拳头”手势之前，是否在时序上已经在先识别到“手掌向上平移”手势。即在当前的“拳头”手势对应的视频帧之前的视频帧中是否已经识别到“手掌向上平移”手势。

若已经识别到所述关联手势识别结果，那么“手掌向上平移”手势就相当于“拳头”手势的在先识别手势。则执行步骤304。

否则，若“拳头”手势对应的视频帧之前的视频帧中，未识别到“手掌向上平移”手势，则执行步骤306。

在步骤304中，根据所述目标手势识别结果在手势控制场景信息下对应的控制指令进行设备控制。

例如，根据“拳头”手势对应的指令“停止上/下移动”控制车窗停止移动。

在步骤306中，禁止根据所述控制指令进行设备控制。

例如，不会响应“拳头”手势控制车窗停止移动。

如上可以这么理解：“拳头”手势对应的指令“停止车窗移动”，需要在在先手势“手掌向上平移”执行以后，这个指令才有意义。比如，用户需要先通过“手掌向上平移”手势控制车窗向上移动，然后才能通过“拳头”手势控制车窗停止移动。如果用户之前并没有通过“手掌向上平移”手势控制车窗向上移动，这个“拳头”手势的指令含义“停止车窗移动”是没有意义的。

因此，也可以理解为，“拳头”手势对应的控制指令的成立，也需要结合关联手势识别结果“手掌向上平移”才可以。这也相当于一种结合关联手势识别结果和目标手势识别结果，才能确定目标手势识别结果对应的控制指令。

本实施例的手势控制方法，即使是在同一个控制场景内，也可以通过多种手势识别结果的结合来确定一个手势识别结果对应的控制指令；本实施例仅是一种示例，在其他的实施例中，还可以是其他的多种手势识别结果的结合方式。该方法使得对于单场景下的手势控制方式更加灵活和丰富。

如下以在车辆中应用手势控制的功能为例，对本公开的手势控制方法进行描述，但是可以理解的是，该手势控制方法不局限于应用于车辆，还可以应用于其他设备，比如应用于手机。

在车辆中，可以由驾驶员通过手势动作实现对车窗、灯光亮度、空调温度等车辆附件的调节；还可以对车辆中的车辆娱乐组件进行控制，例如对音乐播放进行控制，比如，切换歌曲、调节音量。还可以通过手势进行游戏控制，等等。具体实施中，还可以定义车辆中手势控制的多种场景：例如，场景一：音量播放；场景二：车窗调节；场景三：空调调节。并可以通过上述实施例描述的多场景下的控制方法，在车辆的多个场景中都使用手势控制。

例如，图4示例了一种音乐播放器的手势控制的演示界面，如图4所示，用户可以点击开启音乐播放器，在一个示例性的例子中，当用户点击了该播放器界面中的手势控制区域41(即播放器底部的红色区域)时，表示开启了对音乐播放相关功能的手势控制；若用户再次点击该手势控制区域41，则取消对音乐播放相关功能的手势控制。

图4所示的界面是音乐播放器的功能界面，也可以称为手势图像要控制的目标功能界面。用户就可以通过做出多种手势，摄像头采集该手势图像，由手势控制装置来根据接收的手势图像控制音乐播放器的音乐播放功能。并且，还可以在图4所示的界面中，响应于手势图像，控制音乐播放器的相关功能组件。例如，可以响应于手势图像提高音乐播放的音量；又例如，还可以响应于手势图像移动车辆的车窗玻璃。再例如，不仅可以响应手势图像而提高音乐播放的音量，还可以同步的显示随着手势图像的变化而产生的音乐播放器相关控制功能的变化状态。

请继续参见图4，手势控制区域41中点亮显示了多个手势的图标，表示该音乐播放场景下支持这多个手势来控制，比如，相关的手势与对应控制的音乐播放功能可以参见如下的表4所示，其中的手势包括：

表4手势与对应控制的功能

示例性的，在开启对音乐播放相关功能的手势控制后，用户可以做出OK手势，则音乐播放器开始播放音乐。并且，在图4的功能状态界面中可以同步显示音乐播放的功能的运行启动；同理，当用户做出拳头手势时，音乐播放暂停，并且在功能状态界面中也可以同步显示音乐播放功能的运行停止。

例如，用户做出了食指旋转的手势，此时在检测到该食指旋转手势后，手势控制装置可以先判断一下是否已经检测到“OK”手势。如果之前还未检测到“OK”，则不作响应；如果之前已经检测到“OK”，则可以根据食指旋转手势对应的组件控制信息，调节音乐播放器的音量。比如，如果手势是“食指顺时针旋转”，则可以控制音乐播放器增加音乐播放的音量。同时，在图4的功能状态界面中，还可以通过音量调节显示模块42同步显示随着食指顺时针旋转的音量增大示意。

又例如，用户做出了手掌向右平移的手势，此时在检测到该食指旋转手势后，手势控制装置可以先判断一下是否已经检测到“OK”手势。如果之前还未检测到“OK”，则不作响应；如果之前已经检测到“OK”，则可以根据手掌向右平移的手势，调节音乐播放器切换下一首歌曲。同时，在图4的功能状态界面中，还可以通过歌曲显示模块43同步显示随着手掌向右平移的切歌效果。

此外，用户还可以通过手势控制对歌曲的点赞。例如，用户可以竖大拇指，则响应于该手势，手势控制装置可以控制音乐播放器在图4所示的功能状态界面中显示对某个歌曲的点赞标识。例如，图4中的点赞标识44被点亮。同样在点赞之前可以预先判断是否已经检测到“OK”手势。

其他功能的手势控制不再详述。

图5示出了本公开至少一个实施例提供的一种手势控制装置的结构示意图，该装置可以执行本公开任一实施例的手势控制方法。如图5所示，该装置可以包括：识别处理模块51、指令确定模块52和操作控制模块53。

识别处理模块51，用于对摄像头采集到的视频流中的多帧手势图像进行手势识别处理，得到当前识别到的目标手势识别结果。

指令确定模块52，用于根据所述目标手势识别结果、以及与所述目标手势识别结果在所述视频流中具有时序关联的关联手势识别结果，确定所述目标手势识别结果对应的控制指令，其中，所述目标手势识别结果与所述关联手势识别结果不同。

例如，与目标手势识别结果在视频流中具有时序关联的关联手势识别结果，可以是在时序上位于目标手势识别结果之前先识别到的手势识别结果，该结果可以称为在先手势识别结果，在先手势识别结果对应的视频帧在视频流的时序中位于目标手势识别结果对应的视频帧之前。关联手势识别结果也可以是在时序上位于目标手势识别结果之后识别到的手势识别结果，该结果可以称为在后手势识别结果，在后手势识别结果对应的视频帧在视频流的时序中位于所述目标手势识别结果对应的视频帧之后。

操作控制模块53，用于向目标设备发送所述控制指令，或者，根据所述控制指令控制目标设备执行与所述目标手势识别结果对应的操作。

本实施例的手势控制装置，通过由识别处理模块识别手势，并由指令确定模块结合关联手势识别结果来确定目标手势识别结果对应的控制指令，使得一个控制指令的获得可以结合至少两种手势识别结果来确定，即使是相同的目标手势识别结果，只要结合不同的关联手势识别结果就可以得到对应不同的控制指令，从而该目标手势识别结果具有了更好的复用性，同一个手势识别结果可以对应不同的控制指令，使得能够以较少数量的手势实现较丰富的操作控制，换而言之，相对独立手势单独控制的方案而言，采用本公开实施例的技术方案进行同样量级的操作控制所需的手势数量较少，有利于用户用熟悉的少量手势完成丰富的人机交互控制，改善用户体验，也降低了开发或训练可用于识别多手势的算法复杂度。

在一个例子中，所述指令确定模块52，具体用于：获取在先手势识别结果，所述在先手势识别结果对应的视频帧在所述视频流的时序中位于所述目标手势识别结果对应的视频帧之前；根据所述在先手势识别结果和目标手势识别结果，确定所述目标手势识别结果对应的控制指令。

在一个例子中，指令确定模块52，具体用于：获取在后手势识别结果，所述在后手势识别结果对应的视频帧在所述视频流的时序中位于所述目标手势识别结果对应的视频帧之后；根据所述在后手势识别结果和目标手势识别结果，确定对应的控制指令。

在一个例子中，指令确定模块52，具体用于：获取在先手势识别结果和在后手势识别结果，所述在先手势识别结果在所述视频流的时序中位于所述目标手势识别结果之前，所述在后手势识别结果在所述视频流的时序中位于所述目标手势识别结果之后；根据所述在先手势识别结果、在后手势识别结果和目标手势识别结果，确定对应的控制指令。

在一个例子中，指令确定模块52，具体用于：根据预设的第一映射关系，确定所述关联手势识别结果对应的目标手势控制场景信息；所述第一映射关系包括：各个关联手势识别结果与手势控制场景信息之间的对应关系，所述手势控制场景信息中包括目标手势控制场景信息；根据所述目标手势控制场景信息对应的第二映射关系，获取所述目标手势识别结果对应的控制指令；所述第二映射关系包括：各个手势识别结果与对应的控制指令，所述各个手势识别结果中包括所述目标手势识别结果；其中，所述第一映射关系中包括的各个手势控制场景信息分别对应的第二映射关系中，包括至少一种相同的手势识别结果。

在一个例子中，所述手势控制场景信息，包括：车辆中的如下任一项控制场景：车窗控制、多媒体播放控制、灯光亮度控制、空调温度调节、互动娱乐媒体控制。通过将相同的手势识别结果在不同的控制场景中设置对应不同的控制指令，使得能够灵活方便的以少量手势实现对多种场景的控制。这对于具有多场景手势控制的需求的设备来说，提高了手势多场景控制的实施便利性和实施效率。

在一个例子中，指令确定模块52，具体用于：确认在所述目标手势识别结果之前是否已经识别到所述关联手势识别结果；所述目标手势识别结果和关联手势识别结果对应同一个手势控制场景信息；响应于已经识别到所述关联手势识别结果，根据所述目标手势识别结果在所述手势控制场景信息下对应的控制指令进行设备控制；和/或，响应于未识别到所述关联手势识别结果，禁止根据所述控制指令进行设备控制。

在一个例子中，操作控制模块53，具体用于：向车辆中的功能组件发送与所述目标手势识别结果对应的控制指令；或者，控制车辆中的功能组件执行与所述目标手势识别结果对应的操作。

在一个例子中，识别处理模块51，具体用于：若所述视频流中的多帧手势图像检测到连续预设数量的多个相同手势识别结果，则将所述相同手势识别结果作为所述目标手势识别结果。

本公开实施例还提供了一种电子设备，如图6所示，该设备可以包括存储器61和处理器62，其中，所述存储器61用于存储可在处理器62上运行的计算机指令，所述处理器62用于在执行所述计算机指令时实现本公开任一实施例所述的手势控制方法，该计算机指令例如可以是存储器61中的手势控制装置。

本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的方法。

本领域技术人员应明白，本公开一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本公开一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开实施例还提供一种计算机可读存储介质，该存储介质上可以存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例描述的用于文字识别的神经网络的训练方法的步骤，和/或，实现本公开任一实施例描述的文字识别方法的步骤。其中，所述的“和/或”表示至少具有两者中的其中一个，例如，“多和/或B”包括三种方案：多、B、以及“多和B”。

本公开中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本公开特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本公开中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本公开中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本公开中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本公开中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPG多(现场可编程门阵列)或多SIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PD多)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本公开包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本公开内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本公开一个或多个实施例的较佳实施例而已，并不用以限制本公开一个或多个实施例，凡在本公开一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开一个或多个实施例保护的范围之内。

Claims (10)

1.一种手势控制方法，其特征在于，所述方法包括：

对摄像头采集到的视频流中的多帧手势图像进行手势识别处理，得到当前识别到的目标手势识别结果；

根据所述目标手势识别结果、以及与所述目标手势识别结果在所述视频流中具有时序关联的关联手势识别结果，确定所述目标手势识别结果对应的控制指令，其中，所述目标手势识别结果与所述关联手势识别结果不同；

向目标设备发送所述控制指令，或者，根据所述控制指令控制目标设备执行与所述目标手势识别结果对应的操作。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标手势识别结果、以及与所述目标手势识别结果在所述视频流中具有时序关联的关联手势识别结果，确定所述目标手势识别结果对应的控制指令，包括：

获取在先手势识别结果，所述在先手势识别结果对应的视频帧在所述视频流的时序中位于所述目标手势识别结果对应的视频帧之前；

根据所述在先手势识别结果和目标手势识别结果，确定所述目标手势识别结果对应的控制指令。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标手势识别结果、以及与所述目标手势识别结果在所述视频流中具有时序关联的关联手势识别结果，确定所述目标手势识别结果对应的控制指令，包括：

根据预设的第一映射关系，确定所述关联手势识别结果对应的目标手势控制场景信息；所述第一映射关系包括：各个关联手势识别结果与手势控制场景信息之间的对应关系，所述手势控制场景信息中包括目标手势控制场景信息；

根据所述目标手势控制场景信息对应的第二映射关系，获取所述目标手势识别结果对应的控制指令；所述第二映射关系包括：各个手势识别结果与对应的控制指令，所述各个手势识别结果中包括所述目标手势识别结果；

其中，所述第一映射关系中包括的各个手势控制场景信息分别对应的第二映射关系中，包括至少一种相同的手势识别结果。

4.根据权利要求3所述的方法，其特征在于，所述手势控制场景信息，包括：车辆中的如下任一项控制场景：车窗控制、多媒体播放控制、灯光亮度控制、空调温度调节、互动娱乐媒体控制。

5.一种手势控制装置，其特征在于，所述装置包括：

识别处理模块，用于对摄像头采集到的视频流中的多帧手势图像进行手势识别处理，得到当前识别到的目标手势识别结果；

指令确定模块，用于根据所述目标手势识别结果、以及与所述目标手势识别结果在所述视频流中具有时序关联的关联手势识别结果，确定所述目标手势识别结果对应的控制指令，其中，所述目标手势识别结果与所述关联手势识别结果不同；

操作控制模块，用于向目标设备发送所述控制指令，或者，根据所述控制指令控制目标设备执行与所述目标手势识别结果对应的操作。

6.根据权利要求5所述的装置，其特征在于，

所述指令确定模块，具体用于：获取在先手势识别结果，所述在先手势识别结果对应的视频帧在所述视频流的时序中位于所述目标手势识别结果对应的视频帧之前；根据所述在先手势识别结果和目标手势识别结果，确定所述目标手势识别结果对应的控制指令。

7.根据权利要求5所述的装置，其特征在于，

所述指令确定模块，具体用于：根据预设的第一映射关系，确定所述关联手势识别结果对应的目标手势控制场景信息；所述第一映射关系包括：各个关联手势识别结果与手势控制场景信息之间的对应关系，所述手势控制场景信息中包括目标手势控制场景信息；根据所述目标手势控制场景信息对应的第二映射关系，获取所述目标手势识别结果对应的控制指令；所述第二映射关系包括：各个手势识别结果与对应的控制指令，所述各个手势识别结果中包括所述目标手势识别结果；其中，所述第一映射关系中包括的各个手势控制场景信息分别对应的第二映射关系中，包括至少一种相同的手势识别结果。

8.根据权利要求5所述的装置，其特征在于，所述手势控制场景信息，包括：车辆中的如下任一项控制场景：车窗控制、多媒体播放控制、灯光亮度控制、空调温度调节、互动娱乐媒体控制。

9.一种电子设备，其特征在于，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至4任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至4任一所述的方法。

Images