CN110716648A - 手势控制方法和装置 - Google Patents

Abstract

本公开实施例提供一种手势控制方法，所述方法包括：对摄像头采集到的视频流中时序连续的N帧分别进行手势识别处理，得到手势识别结果序列，所述手势识别结果序列中包括所述N帧中包括的多个手势识别结果；响应于所述手势识别结果序列中包括的相同手势识别结果的数量大于或等于M，确定所述相同手势识别结果为目标手势识别结果，其中N和M分别为大于1的整数且N大于或等于M；向目标设备发送与所述目标手势识别结果对应的控制指令，或者，控制目标设备执行与所述目标手势识别结果对应的操作。

Description

手势控制方法和装置

技术领域

本公开涉及机器学习技术，具体涉及一种手势控制方法和装置。

背景技术

随着产品智能化、电子化以及互联化的不断发展和普及，出现了很多越来越智能化的人机交互方式，以满足人们追求个性化和时尚化的需求。例如，智能手机的触屏是一种通过触摸来实现的人机交互系统。还有一些通过语音交互进行控制的产品，比如，用户只要语音输入相关指令，产品就能根据语音输入的指令执行相关的操作。

发明内容

有鉴于此，本公开实施例至少提供一种手势控制方法和装置。

第一方面，提供一种手势控制方法，所述方法包括：

对摄像头采集到的视频流中时序连续的N帧分别进行手势识别处理，得到手势识别结果序列，所述手势识别结果序列中包括所述N帧中包括的多个手势识别结果；

响应于所述手势识别结果序列中包括的相同手势识别结果的数量大于或等于M，确定所述相同手势识别结果为目标手势识别结果，其中N和M分别为大于1的整数且N大于或等于M；

向目标设备发送与所述目标手势识别结果对应的控制指令，或者，控制目标设备执行与所述目标手势识别结果对应的操作。

结合本公开提供的任一实施方式，所述响应于所述手势识别结果序列中包括的相同手势识别结果的数量大于或等于M，包括：响应于所述手势识别结果序列中包括的连续的相同手势识别结果的数量大于或等于M。

结合本公开提供的任一实施方式，所述手势识别结果序列中至少包括一帧的手势识别结果为差异手势识别结果，所述差异手势识别结果与所述目标手势识别结果不同；在所述手势识别结果序列中包括的连续的相同手势识别结果的数量大于或等于M之前，所述方法还包括：在所述手势识别结果序列中，所述差异手势识别结果之前的手势识别结果和之后的手势识别结果都为所述目标手势识别结果，且所述差异手势识别结果在所述手势识别结果序列的数量占比低于预设值，对所述差异手势识别结果进行平滑处理。

结合本公开提供的任一实施方式，所述对所述差异手势识别结果进行平滑处理，包括：将所述差异手势识别结果更正为所述目标手势识别结果；或者，将所述差异手势识别结果由所述手势识别结果序列中去除。

结合本公开提供的任一实施方式，所述对所述差异手势识别结果进行平滑处理，包括：将时序位于所述差异手势识别结果之前的手势识别结果，与时序位于所述差异手势识别结果之后的手势识别结果，作为连续的多帧手势识别结果。

结合本公开提供的任一实施方式，所述对摄像头采集到的视频流中时序连续的N帧分别进行手势识别处理，包括：获取视频流中单帧的摄像头采集图像，所述摄像头采集图像是对应于摄像头拍摄视野空间的图像，所述摄像头拍摄视野空间中包括：手势控制的有效空间区域；由所述摄像头采集图像中，选择对应于所述手势控制的有效空间区域的局部图像区域；对所述局部图像区域进行所述手势识别处理。

结合本公开提供的任一实施方式，所述方法还包括：接收用户通过参数调节的可视化界面配置的手势识别参数；根据所述手势识别参数执行所述手势识别处理。

结合本公开提供的任一实施方式，所述手势识别参数，包括：所述M。

结合本公开提供的任一实施方式，所述向目标设备发送与所述目标手势识别结果对应的控制指令，或者，控制目标设备执行与所述目标手势识别结果对应的操作，包括：向车辆中的功能组件发送与所述目标手势识别结果对应的控制指令；或者，控制车辆中的功能组件执行与所述目标手势识别结果对应的操作。

结合本公开提供的任一实施方式，所述控制目标设备执行与所述目标手势识别结果对应的操作，包括：响应于所述目标手势识别结果，控制目标设备提高音乐播放的音量；或者，响应于所述目标手势识别结果，移动车辆的车窗玻璃。

结合本公开提供的任一实施方式，所述控制目标设备执行与所述目标手势识别结果对应的操作，包括：响应于所述目标手势识别结果，在所述手势图像要控制的功能组件对应的功能状态界面上，显示所述功能组件的运行启动或者运行停止，或者，在所述功能状态界面上显示音量的变化；或者，在所述功能状态界面上显示对目标对象的点赞标识。

第二方面，提供一种手势控制装置，所述装置包括：

识别处理模块，用于对摄像头采集到的视频流中时序连续的N帧分别进行手势识别处理，得到手势识别结果序列，所述手势识别结果序列中包括所述N帧中包括的多个手势识别结果；

手势确定模块，用于响应于所述手势识别结果序列中包括的相同手势识别结果的数量大于或等于M，确定所述相同手势识别结果为目标手势识别结果，其中N和M分别为大于1的整数且N大于或等于M；

操作控制模块，用于向目标设备发送与所述目标手势识别结果对应的控制指令，或者，控制目标设备执行与所述目标手势识别结果对应的操作。

结合本公开提供的任一实施方式，所述手势确定模块，具体用于：响应于所述手势识别结果序列中包括的连续的相同手势识别结果的数量大于或等于M，确定所述相同手势识别结果为目标手势识别结果。

结合本公开提供的任一实施方式，所述手势确定模块，还用于：在所述手势识别结果序列中，所述差异手势识别结果之前的手势识别结果和之后的手势识别结果都为所述目标手势识别结果，且所述差异手势识别结果在所述手势识别结果序列的数量占比低于预设值，对所述差异手势识别结果进行平滑处理；所述手势识别结果序列中至少包括一帧的手势识别结果为差异手势识别结果，所述差异手势识别结果与所述目标手势识别结果不同。

结合本公开提供的任一实施方式，所述手势确定模块，在用于对所述差异手势识别结果进行平滑处理时，包括：将所述差异手势识别结果更正为所述目标手势识别结果；或者，将所述差异手势识别结果由所述手势识别结果序列中去除。

结合本公开提供的任一实施方式，所述手势确定模块，在用于对所述差异手势识别结果进行平滑处理时，包括：将时序位于所述差异手势识别结果之前的手势识别结果，与时序位于所述差异手势识别结果之后的手势识别结果，作为连续的多帧手势识别结果。

结合本公开提供的任一实施方式，所述识别处理模块，在用于对摄像头采集到的视频流中时序连续的N帧分别进行手势识别处理时，包括：获取视频流中单帧的摄像头采集图像，所述摄像头采集图像是对应于摄像头拍摄视野空间的图像，所述摄像头拍摄视野空间中包括：手势控制的有效空间区域；由所述摄像头采集图像中，选择对应于所述手势控制的有效空间区域的局部图像区域；对所述局部图像区域进行所述手势识别处理。

结合本公开提供的任一实施方式，所述装置还包括：参数接收模块，用于接收用户通过参数调节的可视化界面配置的手势识别参数，以使得所述识别处理模块根据所述手势识别参数执行所述手势识别处理。

结合本公开提供的任一实施方式，所述操作控制模块，具体用于：向车辆中的功能组件发送与所述目标手势识别结果对应的控制指令；或者，控制车辆中的功能组件执行与所述目标手势识别结果对应的操作。

结合本公开提供的任一实施方式，所述操作控制模块，在用于控制目标设备执行与所述目标手势识别结果对应的操作时，包括：响应于所述目标手势识别结果，控制目标设备提高音乐播放的音量；或者，响应于所述目标手势识别结果，移动车辆的车窗玻璃。

结合本公开提供的任一实施方式，所述操作控制模块，在用于控制目标设备执行与所述目标手势识别结果对应的操作时，包括：响应于所述目标手势识别结果，在所述手势图像要控制的功能组件对应的功能状态界面上，显示所述功能组件的运行启动或者运行停止，或者，在所述功能状态界面上显示音量的变化；或者，在所述功能状态界面上显示对目标对象的点赞标识。

第三方面，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一所述的手势控制方法。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一所述的手势控制方法。

本公开实施例提供的手势控制方法和装置，通过设置在检测到预设数量的相同手势识别结果时，才确认该手势有效，且该有效的手势即为目标手势识别结果，能够在一定程度上避免手势误触发，提高手势检测的准确性。比如，如果用户不小心做出了某个手势，只要尚未达到预设数量，将不能达到M数量的相同手势识别结果，则将不会被认定为有效的目标手势识别结果，从而使得不会响应该手势，减少误触发的发生。

附图说明

为了更清楚地说明本公开一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了本公开至少一个实施例提供的一种手势控制方法流程；

图1a示出了本公开至少一个实施例提供的一种静态手势示意图；

图1b示出了本公开至少一个实施例提供的一种动态手势示意图；

图2示出了本公开至少一个实施例提供的另一种手势控制方法流程；

图3示出了本公开至少一个实施例提供的又一种手势控制方法流程；

图4示出了本公开至少一个实施例提供的一种音乐播放器的功能界面示意图；

图5示出了本公开至少一个实施例提供的一种手势控制装置；

图6示出了本公开至少一个实施例提供的另一种手势控制装置；

图7示出了本公开至少一个实施例提供的一种电子设备。

具体实施方式

为了使本技术领域的人员更好地理解本公开一个或多个实施例中的技术方案，下面将结合本公开一个或多个实施例中的附图，对本公开一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。

区别于已有的语音交互控制或者触摸交互控制，本公开实施例提供了一种手势控制方法，通过手势交互的方式进行设备控制。

请参见图1，图1提供了一示例性的手势控制方法，该方法可以是由手势控制装置执行，该方法可以包括：

在步骤100中，对摄像头采集到的视频流中时序连续的N帧分别进行手势识别处理，得到手势识别结果序列。

当用户要控制一个设备启用其中的某项功能时，可以做出某种手势。该设备可以称为目标设备，控制目标设备可以是控制该设备中的功能组件，该功能组件可以是硬件或者软件模块。在一个示例中，所述目标设备可以包括但不限于车辆，对目标设备进行控制，可以包括但不限于对车辆中设置的媒体播放器、空调控制器、车窗控制器等一个或多个功能组件的控制。

本步骤中，摄像头可以是采集用户进行做手势的视频流，例如，可以用目标设备上自带的摄像头采集。该视频流中包括摄像头采集的时序连续的N帧手势图像，所述手势图像中的手势是用户要控制目标设备中的功能组件运行时做出的手势。N是大于1的整数。

通过对上述的视频流中的N帧手势图像分别进行手势识别处理，可以得到手势识别结果序列，该序列中包括多个手势识别结果。

用户做出的手势可以是静态手势，也可以是动态手势。如图1a和图1b示例了一些手势，但可以理解的是，实际实施中不局限于此。示例性的，图1a示出了一系列的静态手势：OK手势、V手势、点赞手势、手掌手势、食指手势和拳头手势。示例性的，图1b示出了一系列的动态手势：拳掌互变(拳变掌，掌变拳)，手掌平移(上下左右)，食指旋转(顺时针、逆时针)。

例如，该序列中包括的多个手势识别结果可以是静态手势：比如，识别到手势图像中的手势是V手势，或者识别到手势图像中的手势是OK手势。

又例如，通过对N帧手势图像进行手势识别处理，得到的手势识别结果序列中还可以是包括多个动态手势，比如，识别到多个“手掌平移”手势。

再例如，该序列中还可以是静态手势和动态手势的组合，比如，包括OK手势和手掌平移手势。

本步骤中的手势识别，例如可以通过预先训练的手势识别神经网络执行，将摄像头采集得到的手势图像输入该神经网络，就可以得到该手势图像对应的手势信息。

在步骤102中，响应于所述手势识别结果序列中包括的相同手势识别结果的数量大于或等于M，确定所述相同手势识别结果为目标手势识别结果。

本步骤中，可以设定当检测预设数量的某个手势时才确认该手势有效，有效的手势称为目标手势识别结果。该预设数量可以设定为M，M也为大于1的整数，且N大于或等于M。

例如，连续检测到五个V手势，则确认检测到有效的目标手势识别结果“V手势”。又例如，还可以是连续检测到五个“手掌平移手势”，其中，每一个手掌平移手势可以是综合多帧的手势图像确定得到一个“手掌平移手势”，该“手掌平移手势”即为目标手势识别结果。

如果检测到的连续的手势数量未达到所述的预设数量，则丢弃重新检测。比如，如果检测到的V手势是三个，未达到预设数量“五个”，则放弃该三个V手势，重新检测。

当检测到有效的目标手势识别结果时，继续执行步骤104。否则，如果未检测到目标手势识别结果，则继续检测。

在步骤104中，向目标设备发送与所述目标手势识别结果对应的控制指令，或者，控制目标设备执行与所述目标手势识别结果对应的操作。

本步骤可以根据上述识别到的目标手势识别结果，控制对应的目标设备。具体可以是控制目标设备中的功能组件，例如，如果该功能组件是车辆中播放音乐的音量控制模块，那么根据目标手势识别结果，可以控制音量的提高或者降低。在实际实施时，可以是向目标设备发送与目标手势识别结果对应的控制指令，由目标设备根据该指令进行操作；或者，还可以是由本实施例的手势控制装置根据该指令控制目标设备执行与所述目标手势识别结果对应的操作。

本实施例的手势控制方法，通过设置在检测到预设数量的相同手势识别结果时，才确认该手势有效，且该有效的手势即为目标手势识别结果，能够在一定程度上避免手势误触发，提高手势检测的准确性。比如，如果用户不小心做出了某个手势，只要尚未达到预设数量，将不能达到M数量的相同手势识别结果，则将不会被认定为有效的目标手势识别结果，从而使得不会响应该手势，减少误触发的发生。

图2提供了本公开另一实施例的手势控制方法，该方法可以包括如下处理，其中，与图1的流程相同的步骤将不再详述。

步骤200中，接收摄像头采集的多帧手势图像，所述手势图像中的手势是用户要控制目标设备中的功能组件运行时做出的手势。

该多帧手势图像可以是摄像头采集的视频流中包括的时序连续的N帧手势图像。

在步骤202中，对所述多帧手势图像进行手势识别处理，获取识别到的手势识别结果序列。

例如，摄像头采集的手势图像有多帧，根据该多帧手势图像可以识别到多个手势，这多个手势可以组成一个手势识别结果序列。举例来说，假设该手势识别结果序列可以包括“V、V、V、V、V、V、拳头、V、V”。

在上述手势识别结果序列中，多个“V”可以称为多个相同手势识别结果，“拳头”可以称为差异手势识别结果，该差异手势识别结果与相同手势识别结果是不同的手势识别结果。当然，在其他的例子中，差异手势识别结果的数量也可以是多个。

在步骤204中，在所述手势识别结果序列中，所述差异手势识别结果之前的手势识别结果和之后的手势识别结果都为所述目标手势识别结果，且所述差异手势识别结果在所述手势识别结果序列的数量占比低于预设值，对所述差异手势识别结果进行平滑处理。

例如，在上述例子“V、V、V、V、V、V、拳头、V、V”的手势识别结果序列中，“拳头”是差异手势识别结果，在该手势识别结果序列中，拳头手势之前识别到六个V手势，在拳头手势之后识别到两个V手势，也就是说，差异手势识别结果之前的手势识别结果和之后的手势识别结果都是相同手势识别结果V手势。并且差异手势识别结果的数量在所述手势识别结果序列的占比低于预设值，比如，“差异手势的数量”与序列总数量的比值低于预设值15％，则对该差异手势识别结果进行平滑处理。需要说明的是，实际实施中不局限于该判断方式，在此仅做示例。

当确认对差异手势进行平滑处理之后，所做的平滑处理，包括但不限于如下的任一种：

例如，可以将所述差异手势识别结果更正为所述目标手势识别结果，比如，将拳头手势更正为V手势。上述的序列“V、V、V、V、V、V、拳头、V、V”修改为成为“V、V、V、V、V、V、V、V、V”。

又例如，还可以将差异手势识别结果由手势识别结果序列中去除，比如，上述的序列“V、V、V、V、V、V、拳头、V、V”修改为成为“V、V、V、V、V、V、V、V”。

再例如，还可以是将时序位于差异手势识别结果之前的手势识别结果，与时序位于差异手势识别结果之后的手势识别结果，作为连续的多帧手势识别结果。即序列“V、V、V、V、V、V、拳头、V、V”仍然认为是识别到了连续的八帧V手势，忽略拳头手势就可以。

在步骤206中，对于平滑处理后的手势识别结果序列，识别到所述手势识别结果序列中包括连续的预设数量的目标手势识别结果，确认检测到目标手势识别结果。

例如，本实施例中可以设置为，识别到连续的M个相同手势识别结果，则确认该相同手势识别结果是目标手势识别结果，目标手势识别结果是有效的。比如，若识别到连续的8个V手势，则确认该V手势是目标手势识别结果。

在步骤208中，向目标设备发送与所述目标手势识别结果对应的控制指令，或者，控制目标设备执行与所述目标手势识别结果对应的操作。

本实施例的手势控制方法，不仅通过设置在检测到预设数量的手势时，才确认该手势有效，从而提高手势检测的准确性；并且，通过对差异手势识别结果进行平滑处理，也可以增加手势检测的灵敏度，提高手势检测的响应速度。

例如，假设用户实际作出的手势已经达到了预设数量的十个V手势，可是由于误识别，导致识别到了九个V手势和两个拳头手势，那么如果不进行本实施例的平滑处理，则要放弃该九个手势重新检测，无法对用户手势及时响应；而按照本实施例的方法可以将上述两个拳头手势更正为正确的V手势，从而快速识别到有效的V手势，快速的对用户手势做出响应。

图3提供了一个例子中的手势控制方法的流程，该方法可以包括：

在步骤300中，获取视频流中单帧的摄像头采集图像，所述摄像头采集图像是对应于摄像头拍摄视野空间的图像，所述摄像头拍摄视野空间中包括：手势控制的有效空间区域。

本例子中，摄像头固定在车辆的某个位置，该摄像头在采集图像时具有一个对应的摄像头拍摄视野空间，拍摄的摄像头采集图像也是该空间内的图像。其中，该视野空间中包括手势控制的有效空间区域，例如，驾驶员只有在车辆中控面板前方某个区域做手势，才会触发根据该手势的控制，假如驾驶员在该有效区域之外的区域做手势，则不会触发手势控制。摄像头采集图像中包括上述的手势控制的有效空间区域对应的图像。

在步骤302中，由所述摄像头采集图像中，选择对应于所述手势控制的有效空间区域的局部图像区域。

本步骤可以对摄像头采集图像进行裁剪，裁剪得到摄像头采集图像中的局部图像区域，该区域对应的拍摄视野空间就是手势控制的有效空间区域。比如，摄像头也可能拍摄了一个较大的空间区域，将车辆内的整个内部场景都拍摄到。而本步骤中选择的局部图像区域是图像中包括的对应车辆中控面板前方的部分区域，该部分区域是手势控制的有效区域，驾驶员在该有效区域内做手势，才会触发手势控制的响应。

在步骤304中，对局部图像区域进行手势识别处理，得到手势识别结果。

实际实施中，对视频流中的N帧手势图像进行手势识别时，其中的每帧手势图像都可以是对所述的局部图像区域进行手势识别处理。即对于每帧手势图像，都可以是由该手势图像中选择局部图像区域，并对该局部图像区域进行手势识别处理。上述的手势图像即摄像头采集图像。

在步骤306中，根据手势识别结果进行目标设备的控制。

例如，对于摄像头采集的N帧图像，识别得到一个手势识别结果序列。再根据该序列，若序列中存在预设数量M的相同手势识别结果，或者存在连续M个相同手势识别结果时，确认该相同手势识别结果是目标手势识别结果。并根据该目标手势识别结果对应的控制指令，对目标设备进行控制。

本实施例的手势控制方法，不仅通过在确认检测到预设数量的相同手势识别结果时根据该手势进行设备控制，从而防止误触发；并且，还通过识别手势图像中的局部图像区域中的手势，能够在一定程度上避免局部图像区域之外的其他区域图像的干扰，使得对手势的识别更加准确，而且仅对局部图像区域进行手势识别，相比于对全部的手势图像进行识别处理，处理速度也会更快。

在又一个实施例中，对手势控制功能中的一些参数可以通过可视化的方式进行调节。例如，可以将手势检测的手势识别参数在可视化界面进行可视化显示，用户对参数调节的可视化界面中的手势识别参数以进度条方式进行调节。例如，该手势识别参数可以包括：上面提到的“检测到M个相同手势识别结果”中的M。例如，可以调节检测到10个相同的V手势，确认检测到V手势；也可以设置检测到8个相同的V手势，确认检测到V手势。当用户调节该参数后，系统就可以根据该手势识别参数进行手势识别处理。这种通过可视化界面的方式进行调节，非常方便。

此外，不同的手势可以设置不同的手势识别参数，以上述的M为例，不同的手势对应的M可以不同。比如，检测到10个相同的V手势，确认检测到V手势；检测到6个OK手势，确认检测到OK手势。即V手势对应的M是10，OK手势对应的M是6。

该手势识别参数例如还可以包括：序列中出现差异手势的数量、差异手势之前出现的目标手势的数量等等，这些参数都可以通过上述的可视化界面以进度条方式进行调节设置。并且，各个参数都可以独立的进行调节，比如，以不同的手势对应的M为例，在上述的例子中，V手势对应的M是10，OK手势对应的M是6，所述的V手势、OK手势等不同的手势对应的M可以分别调节。

如下以在车辆中应用手势控制的功能为例，对本公开的手势控制方法进行描述，但是可以理解的是，该手势控制方法不局限于应用于车辆，还可以应用于其他设备，比如应用于手机。

在车辆中，可以由驾驶员通过手势动作实现对车窗、灯光亮度、空调温度等车辆附件的调节；还可以对车辆中的车辆娱乐组件进行控制，例如对音乐播放进行控制，比如，切换歌曲、调节音量。还可以通过手势进行游戏控制，等等。例如，图4示例了一种音乐播放器的手势控制的演示界面，如图4所示，用户可以点击开启音乐播放器，在一个示例性的例子中，当用户点击了该播放器界面中的手势控制区域41(即播放器底部的红色区域)时，表示开启了对音乐播放相关功能的手势控制；若用户再次点击该手势控制区域41，则取消对音乐播放相关功能的手势控制。

图4所示的界面是音乐播放器的功能界面，也可以称为手势图像要控制的目标功能界面。用户就可以通过做出多种手势，摄像头采集该手势图像，由手势控制装置来根据接收的手势图像控制音乐播放器的音乐播放功能。并且，还可以在图4所示的界面中，响应于手势图像，控制音乐播放器的相关功能组件。例如，可以响应于手势图像提高音乐播放的音量；又例如，还可以响应于手势图像移动车辆的车窗玻璃。再例如，不仅可以响应手势图像而提高音乐播放的音量，还可以同步的显示随着手势图像的变化而产生的音乐播放器相关控制功能的变化状态。

请继续参见图4，手势控制区域41中点亮显示了多个手势的图标，表示该音乐播放场景下支持这多个手势来控制，比如，相关的手势与对应控制的音乐播放功能可以参见如下的表1所示，其中的手势包括：

表1手势与对应控制的功能

手势	控制功能
		OK	播放
竖大拇指	点赞
		食指顺时针旋转	增大音量
食指逆时针旋转	降低音量
		手掌向右平移	下一首
手掌向左平移	上一首
		拳头	暂停

对于上述表1中的各个手势的识别，都可以是按照“若在手势识别结果序列中检测到预设数量的相同手势识别结果，则确认所述相同手势识别结果即目标手势识别结果”。

示例性的，在开启对音乐播放相关功能的手势控制后，用户可以做出OK手势，则音乐播放器开始播放音乐。并且，在图4的功能状态界面中可以同步显示音乐播放的功能的运行启动；同理，当用户做出拳头手势时，音乐播放暂停，并且在功能状态界面中也可以同步显示音乐播放功能的运行停止。

例如，用户做出了食指旋转的手势，此时在检测到该食指旋转手势后，手势控制装置可以先判断一下是否已经检测到“OK”手势。如果之前还未检测到“OK”，则不作响应；如果之前已经检测到“OK”，则可以根据食指旋转手势对应的组件控制信息，调节音乐播放器的音量。比如，如果手势是“食指顺时针旋转”，则可以控制音乐播放器增加音乐播放的音量。同时，在图4的功能状态界面中，还可以通过音量调节显示模块42同步显示随着食指顺时针旋转的音量增大示意。

又例如，用户做出了手掌向右平移的手势，此时在检测到该食指旋转手势后，手势控制装置可以先判断一下是否已经检测到“OK”手势。如果之前还未检测到“OK”，则不作响应；如果之前已经检测到“OK”，则可以根据手掌向右平移的手势，调节音乐播放器切换下一首歌曲。同时，在图4的功能状态界面中，还可以通过歌曲显示模块43同步显示随着手掌向右平移的切歌效果。

此外，用户还可以通过手势控制对歌曲的点赞。例如，用户可以竖大拇指，则响应于该手势，手势控制装置可以控制音乐播放器在图4所示的功能状态界面中显示对某个歌曲的点赞标识。例如，图4中的点赞标识44被点亮。同样在点赞之前可以预先判断是否已经检测到“OK”手势。

其他功能的手势控制不再详述。

图5提供了一种手势控制装置，如图5所示，该装置可以包括：识别处理模块500、手势确定模块502和操作控制模块504。

识别处理模块500，用于对摄像头采集到的视频流中时序连续的N帧分别进行手势识别处理，得到手势识别结果序列，所述手势识别结果序列中包括所述N帧中包括的多个手势识别结果；

手势确定模块502，用于响应于所述手势识别结果序列中包括的相同手势识别结果的数量大于或等于M，确定所述相同手势识别结果为目标手势识别结果，其中N和M分别为大于1的整数且N大于或等于M。

例如，连续检测到五个V手势，则确认检测到有效的目标手势识别结果“V手势”。又例如，还可以是连续检测到五个“手掌平移手势”，其中，每一个手掌平移手势可以是综合多帧的手势图像确定得到一个“手掌平移手势”，该“手掌平移手势”即为目标手势识别结果。

操作控制模块504，用于向目标设备发送与所述目标手势识别结果对应的控制指令，或者，控制目标设备执行与所述目标手势识别结果对应的操作。

本实施例的手势控制装置，通过由识别处理模块和手势确定模块在检测到预设数量的相同手势识别结果时，才确认该手势有效，且该有效的手势即为目标手势识别结果，能够在一定程度上避免手势误触发，提高手势检测的准确性。比如，如果用户不小心做出了某个手势，只要尚未达到预设数量，将不能达到M数量的相同手势识别结果，则将不会被认定为有效的目标手势识别结果，从而使得不会响应该手势，减少误触发的发生。

在一个实施例中，所述手势确定模块502，具体用于：响应于所述手势识别结果序列中包括的连续的相同手势识别结果的数量大于或等于M，确定所述相同手势识别结果为目标手势识别结果。

在一个实施例中，所述手势确定模块502，还用于：在所述手势识别结果序列中，所述差异手势识别结果之前的手势识别结果和之后的手势识别结果都为所述目标手势识别结果，且所述差异手势识别结果在所述手势识别结果序列的数量占比低于预设值，对所述差异手势识别结果进行平滑处理；所述手势识别结果序列中至少包括一帧的手势识别结果为差异手势识别结果，所述差异手势识别结果与所述目标手势识别结果不同。

例如，在上述例子“V、V、V、V、V、V、拳头、V、V”的手势识别结果序列中，“拳头”是差异手势识别结果，在该手势识别结果序列中，拳头手势之前识别到六个V手势，在拳头手势之后识别到两个V手势，也就是说，差异手势识别结果之前的手势识别结果和之后的手势识别结果都是相同手势识别结果V手势。并且差异手势识别结果的数量在所述手势识别结果序列的占比低于预设值，比如，“差异手势的数量”与序列总数量的比值低于预设值15％，则对该差异手势识别结果进行平滑处理。需要说明的是，实际实施中不局限于该判断方式，在此仅做示例。

在一个实施例中，所述手势确定模块502，在用于对所述差异手势识别结果进行平滑处理时，包括：将所述差异手势识别结果更正为所述目标手势识别结果；或者，将所述差异手势识别结果由所述手势识别结果序列中去除。

在一个实施例中，所述手势确定模块502，在用于对所述差异手势识别结果进行平滑处理时，包括：将时序位于所述差异手势识别结果之前的手势识别结果，与时序位于所述差异手势识别结果之后的手势识别结果，作为连续的多帧手势识别结果。

通过对差异手势识别结果进行平滑处理，也可以增加手势检测的灵敏度，提高手势检测的响应速度。例如，假设用户实际作出的手势已经达到了预设数量的十个V手势，可是由于误识别，导致识别到了九个V手势和两个拳头手势，那么如果不进行本实施例的平滑处理，则要放弃该九个手势重新检测，无法对用户手势及时响应；而按照本实施例的方法可以将上述两个拳头手势更正为正确的V手势，从而快速识别到有效的V手势，快速的对用户手势做出响应。

在一个实施例中，所述识别处理模块500，在用于对摄像头采集到的视频流中时序连续的N帧分别进行手势识别处理时，包括：获取视频流中单帧的摄像头采集图像，所述摄像头采集图像是对应于摄像头拍摄视野空间的图像，所述摄像头拍摄视野空间中包括：手势控制的有效空间区域；由所述摄像头采集图像中，选择对应于所述手势控制的有效空间区域的局部图像区域；对所述局部图像区域进行所述手势识别处理。

例如，摄像头固定在车辆的某个位置，该摄像头在采集图像时具有一个对应的摄像头拍摄视野空间，拍摄的摄像头采集图像也是该空间内的图像。其中，该视野空间中包括手势控制的有效空间区域，例如，驾驶员只有在车辆中控面板前方某个区域做手势，才会触发根据该手势的控制，假如驾驶员在该有效区域之外的区域做手势，则不会触发手势控制。摄像头采集图像中包括上述的手势控制的有效空间区域对应的图像。可以对摄像头采集图像进行裁剪，裁剪得到摄像头采集图像中的局部图像区域，该区域对应的拍摄视野空间就是手势控制的有效空间区域。比如，摄像头也可能拍摄了一个较大的空间区域，将车辆内的整个内部场景都拍摄到。而本步骤中选择的局部图像区域是图像中包括的对应车辆中控面板前方的部分区域，该部分区域是手势控制的有效区域，驾驶员在该有效区域内做手势，才会触发手势控制的响应。

在一个实施例中，如图6所示，该装置还可以包括如下模块：

参数接收模块600，用于接收用户通过参数调节的可视化界面配置的手势识别参数，以使得所述识别处理模块根据所述手势识别参数执行所述手势识别处理。

在一个实施例中，所述操作控制模块504，具体用于：向车辆中的功能组件发送与所述目标手势识别结果对应的控制指令；或者，控制车辆中的功能组件执行与所述目标手势识别结果对应的操作。

在一个实施例中，所述操作控制模块504，在用于控制目标设备执行与所述目标手势识别结果对应的操作时，包括：响应于所述目标手势识别结果，控制目标设备提高音乐播放的音量；或者，响应于所述目标手势识别结果，移动车辆的车窗玻璃。

在一个实施例中，所述操作控制模块504，在用于控制目标设备执行与所述目标手势识别结果对应的操作时，包括：响应于所述目标手势识别结果，在所述手势图像要控制的功能组件对应的功能状态界面上，显示所述功能组件的运行启动或者运行停止，或者，在所述功能状态界面上显示音量的变化；或者，在所述功能状态界面上显示对目标对象的点赞标识。

本公开至少一个实施例提供了一种电子设备，如图7所示，该图7示例了一种电子设备，所述设备包括存储器71和处理器72，所述存储器71用于存储可在处理器72上运行的计算机指令，所述处理器72用于在执行所述计算机指令时实现本公开任一实施例所述的手势控制方法。

本公开至少一个实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的手势控制方法。

本领域技术人员应明白，本公开一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本公开一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开实施例还提供一种计算机可读存储介质，该存储介质上可以存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例描述的用于文字识别的神经网络的训练方法的步骤，和/或，实现本公开任一实施例描述的文字识别方法的步骤。其中，所述的“和/或”表示至少具有两者中的其中一个，例如，“多和/或B”包括三种方案：多、B、以及“多和B”。

本公开中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本公开特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本公开中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本公开中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本公开中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本公开中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPG多(现场可编程门阵列)或多SIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PD多)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本公开包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本公开内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本公开一个或多个实施例的较佳实施例而已，并不用以限制本公开一个或多个实施例，凡在本公开一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开一个或多个实施例保护的范围之内。

Claims (10)

1.一种手势控制方法，其特征在于，所述方法包括：

对摄像头采集到的视频流中时序连续的N帧分别进行手势识别处理，得到手势识别结果序列，所述手势识别结果序列中包括所述N帧中包括的多个手势识别结果；

响应于所述手势识别结果序列中包括的相同手势识别结果的数量大于或等于M，确定所述相同手势识别结果为目标手势识别结果，其中N和M分别为大于1的整数且N大于或等于M；

向目标设备发送与所述目标手势识别结果对应的控制指令，或者，控制目标设备执行与所述目标手势识别结果对应的操作。

2.根据权利要求1所述的方法，其特征在于，所述响应于所述手势识别结果序列中包括的相同手势识别结果的数量大于或等于M，包括：

响应于所述手势识别结果序列中包括的连续的相同手势识别结果的数量大于或等于M。

3.根据权利要求1所述的方法，其特征在于，所述手势识别结果序列中至少包括一帧的手势识别结果为差异手势识别结果，所述差异手势识别结果与所述目标手势识别结果不同；

在所述手势识别结果序列中包括的连续的相同手势识别结果的数量大于或等于M之前，所述方法还包括：

在所述手势识别结果序列中，所述差异手势识别结果之前的手势识别结果和之后的手势识别结果都为所述目标手势识别结果，且所述差异手势识别结果在所述手势识别结果序列的数量占比低于预设值，对所述差异手势识别结果进行平滑处理。

4.根据权利要求1所述的方法，其特征在于，所述对摄像头采集到的视频流中时序连续的N帧分别进行手势识别处理，包括：

获取视频流中单帧的摄像头采集图像，所述摄像头采集图像是对应于摄像头拍摄视野空间的图像，所述摄像头拍摄视野空间中包括：手势控制的有效空间区域；

由所述摄像头采集图像中，选择对应于所述手势控制的有效空间区域的局部图像区域；

对所述局部图像区域进行所述手势识别处理。

5.一种手势控制装置，其特征在于，所述装置包括：

识别处理模块，用于对摄像头采集到的视频流中时序连续的N帧分别进行手势识别处理，得到手势识别结果序列，所述手势识别结果序列中包括所述N帧中包括的多个手势识别结果；

手势确定模块，用于响应于所述手势识别结果序列中包括的相同手势识别结果的数量大于或等于M，确定所述相同手势识别结果为目标手势识别结果，其中N和M分别为大于1的整数且N大于或等于M；

操作控制模块，用于向目标设备发送与所述目标手势识别结果对应的控制指令，或者，控制目标设备执行与所述目标手势识别结果对应的操作。

6.根据权利要求5所述的装置，其特征在于，

所述手势确定模块，具体用于：响应于所述手势识别结果序列中包括的连续的相同手势识别结果的数量大于或等于M，确定所述相同手势识别结果为目标手势识别结果。

7.根据权利要求5所述的装置，其特征在于，

所述手势确定模块，还用于：在所述手势识别结果序列中，所述差异手势识别结果之前的手势识别结果和之后的手势识别结果都为所述目标手势识别结果，且所述差异手势识别结果在所述手势识别结果序列的数量占比低于预设值，对所述差异手势识别结果进行平滑处理；所述手势识别结果序列中至少包括一帧的手势识别结果为差异手势识别结果，所述差异手势识别结果与所述目标手势识别结果不同。

8.根据权利要求5所述的装置，其特征在于，

所述识别处理模块，在用于对摄像头采集到的视频流中时序连续的N帧分别进行手势识别处理时，包括：获取视频流中单帧的摄像头采集图像，所述摄像头采集图像是对应于摄像头拍摄视野空间的图像，所述摄像头拍摄视野空间中包括：手势控制的有效空间区域；由所述摄像头采集图像中，选择对应于所述手势控制的有效空间区域的局部图像区域；对所述局部图像区域进行所述手势识别处理。

9.一种电子设备，其特征在于，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至4任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至4任一所述的方法。

Images