CN111158478B - 响应方法及电子设备 - Google Patents

Abstract

本发明实施例提供了一种响应方法及电子设备，该方法包括：接收第一输入，响应于该第一输入，采集用户的至少一张手部图像；确定所述手部图像中手部的至少一根手指的指关节弯曲角度；根据所述指关节弯曲角度，生成所述手部图像的手势矩阵；根据所述手部图像的手势矩阵，基于预设手势矩阵与功能的对应关系，确定与所述手部图像的手势矩阵对应的目标功能，并执行所述目标功能。本发明实施例根据多个指关节弯曲角度生成的手势矩阵，进行手势识别的方式，能够准确地识别出用户的手势，进而能够确保执行的该手势对应的目标功能即为用户想要执行的功能，提高了功能执行的准确率。

Description

响应方法及电子设备

技术领域

本发明涉及电子设备技术领域，特别是涉及一种响应方法及电子设备。

背景技术

随着科技的发展，手势识别技术成为一项热门课题，基于手势识别进行功能控制的相关应用也开始渗透到人们生活的方方面面。

现有技术中，基于手势识别进行功能控制时，往往是先计算用户手指指关节到手部中心的距离，然后根据该距离确定用户的手势，最后，根据该手势确定对应的功能，并执行该功能。这种基于距离进行手势识别的方式的准确性较差，进而无法准确执行用户想要执行的功能，功能执行的准确率较低。

发明内容

本发明实施例提供一种响应方法及电子设备，以解决现有技术中无法准确执行用户想要执行的功能，功能执行的准确率较低的问题。

为了解决上述问题，本发明实施例是这样实现的：

第一方面，本发明实施例公开了一种响应方法，包括：

接收第一输入；

响应于所述第一输入，采集用户的至少一张手部图像；

确定所述手部图像中手部的至少一根手指的指关节弯曲角度；

根据所述指关节弯曲角度，生成所述手部图像的手势矩阵；

根据所述手部图像的手势矩阵，基于预设手势矩阵与功能的对应关系，确定与所述手部图像的手势矩阵对应的目标功能，并执行所述目标功能。

第二方面，本发明实施例公开了一种电子设备，包括：

第一接收模块，用于接收第一输入；

采集模块，用于响应于所述第一输入，采集用户的至少一张手部图像；确定模块，用于确定所述手部图像中手部的至少一根手指的指关节弯曲角度；

第一生成模块，用于根据所述指关节弯曲角度，生成所述手部图像的手势矩阵；

执行模块，用于根据所述手部图像的手势矩阵，基于预设手势矩阵与功能的对应关系，确定与所述手部图像的手势矩阵对应的目标功能，并执行所述目标功能。

第三方面，本发明实施例公开了一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的响应方法的步骤。

第四方面，本发明实施例公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现读第一方面所述的响应方法的步骤。

在本发明实施例中，电子设备可以接收第一输入，响应于该第一输入采集用户的手部图像，然后基于手部图像确定至少一根手指的指关节弯曲角度，根据指关节弯曲角度生成手势矩阵，根据该手部图像的手势矩阵，基于预设的手势矩阵与功能的对应关系，确定出当前手部图像的手势矩阵对应的目标功能。相较于现有技术中根据指关节到手部中心的距离确定的用户手势，执行对应功能的方式，由于指关节弯曲角度能够更为精准直接的表征手势，因此，本发明实施例根据多个指关节弯曲角度生成的手势矩阵，进行手势识别的方式，能够准确地识别出用户的手势，进而能够确保执行的该手势对应的目标功能即为用户想要执行的功能，提高了功能执行的准确率。

附图说明

图1示出了本发明的一种响应方法的步骤流程图；

图2示出了本发明的另一种响应方法的步骤流程图；

图3示出了本发明的一种左手手骨结构示意图；

图4示出了本发明的一种手指示意图；

图5示出了本发明的另一种手指示意图；

图6示出了本发明的一种手部图像的示意图；

图7示出了本发明的另一种手部图像的示意图；

图8示出了本发明的又一种手部图像的示意图；

图9示出了本发明的一种电子设备的结构框图；

图10示出了实现本发明各个实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，示出了本发明的一种响应方法的步骤流程图，所述方法应用于电子设备，所述电子设备可以具体为智能手机、笔记本、平板电脑、车载电脑等，该方法具体可以包括：

步骤101、接收第一输入。

本发明实施例中，第一输入可以是用户在需要通过手势控制电子设备执行功能的情况下发送的。示例的，第一输入可以是对电子设备提供的采集触发按钮的点击输入、双击输入或长按输入，等等。

步骤102、响应于所述第一输入，采集用户的至少一张手部图像。

本发明实施例中，如果接收到第一输入，则可以认为用户需要通过手势控制电子设备执行功能，因此电子设备可以先采集手部图像。其中，该采集操作可以是在电子设备的手势识别功能启动的情况下执行的。该手势识别功能可以是用户在需要使用手势识别功能时，例如，需要通过手势识别解锁电子设备、对电子设备中的游戏进行控制时，通过预设操作开启的。其中，该预设操作可以为点击电子设备屏幕上的按钮或在屏幕上的双击、滑动等操作，本发明实施例对此不作限定。

具体在采集时，电子设备可以通过摄像头采集预览画面，然后通过图像识别算法检测当前预览画面中是否包含有手部，若预览画面中包含手部，则可以进行拍摄，进而得到至少包括手部的手部图像。这样，通过在采集过程中进行手部检测，确保手部图像中包括手部，进而可以确保后续步骤中基于采集到的图像能够准确的识别出手势。相应地，若预览画面中不包含手部，则自动调节拍摄角度，直至在预览画面中检测到当前用户的至少一只手部后再进行拍摄。

步骤103、确定所述手部图像中手部的至少一根手指的指关节弯曲角度。

本步骤中，在确定指关节弯曲角度的手指及指关节的数量越多的情况下，需要确定弯曲角度的指关节会越多，需要的计算量也会越大，但获取的弯曲角度数据更多，这样，后续步骤中基于弯曲角度进行识别的准确率会更高。在数量越少的情况下，需要确定弯曲角度的指关节会越少，需要的计算量会越小，但获取的弯曲角度数据更少，这样，后续步骤中基于弯曲角度进行识别的准确率会降低。因此，电子设备确定指关节弯曲角度的手指及指关节的数量可以根据实际需求选择，本发明实施例对此不作限定。

对于手部图像中手部的手指及指关节的数量可以有多种方式，可以获取多个手指的指关节弯曲角度，这种方式手势对应的角度数据多，手势识别更加精确，但同时数据计算量增大；也可以获取单个手指的指关节弯曲角度，这种方式手势对应的角度数据少，数据计算量小，但手势识别的准确度相对降低。具体设定数量时，可以根据用户的实际使用情况进行设定。

进一步地，人的手部包括指骨、掌骨、腕骨，手指包括多个指骨，相邻指骨通过指关节连接在一起，指骨可绕指关节向内转动，指骨与指关节相对于相邻指骨的转动角度即为指关节弯曲角度，该指关节弯曲角度的角度范围可以是0°～90°。

具体确定指关节弯曲角度时，可以先对手部图像进行二值化，然后从二值化之后的手部图像中分割出完整的手部区域，以便于去除二值化手部图像中存在的非手势的小连通域，进而降低对指关节弯曲角度识别的干扰。接着，对该手部区域进行图像特征提取。其中，提取的图像特征可以是手指个数、手指长度、图像几何矩、图像转动惯量等图像特征，最后，基于这些图像特征得到指关节的弯曲角度。

具体的，获取用户手指个数时，可以先提取手势边缘，然后以逆时针方向搜索求得手势边缘的方向链码(Freeman链码)。然后，可以用Freeman链码标识一条数字化二值轮廓曲线。其中，该方向链码可以是八方向Freeman链码，八方向Freeman链码是相邻两像素连线的八种可能的方向值。接着，可以基于该二值轮廓曲线点的差值，确定指尖点，并基于指尖点确定手指个数。获取手指长度时，可以先找出指尖与相邻指尖之间弯曲程度最大的点，然后计算该点与指尖的距离作为手指的长度。进一步的，图像几何矩可以是指像素点的期望。一阶矩和零阶矩可以计算形状的中心，二阶矩可以计算形状的方向。图像转动惯量可以是指根据图像质量，即，图像所有的灰度值之和、重心，即，形状中心以及转动惯量，计算得到的图像围绕重心的归一化转动惯量。相应地，在基于图像特征得到指关节的弯曲角度时，可以根据手指的个数的长度，定位需要确定弯曲角度的手指的指关节，然后基于图像几何矩计算手指中指关节的中心及方向。最后，基于图像转动惯量确定该指关节连接的指骨之间的转动量，进而得到该指关节的弯曲角度。

当然，也可以采用其他方式从手部图像中确认出至少一根手指的指关节弯曲角度，本发明实施例对此不作限定。

步骤104、根据所述指关节弯曲角度，生成所述手部图像的手势矩阵。

本发明实施例中，该手部图像的手势矩阵可以用于唯一表征手部图像中手部的手势。该手势矩阵中的元素可以根据获取到的所有指关节弯曲角度确定的，各个指关节弯曲角度对应的元素按照弯曲角度表示的指关节的相关位置关系排列。其中，手势矩阵中的行数与列数可以是根据一个手部中包括的手指个数及各个手指包括的指关节个数设置的。例如，可以设置手势矩阵为5*3的矩阵。相应地，在根据指关节弯曲角度确定矩阵元素时，可以将未获取弯曲角度的指关节对应位置的元素设置为预设值。当然，也可以是按照实际获取的指关节弯曲角度确定行数与列数，本发明实施例对此不作限定。

由于确定的指关节弯曲角度一般为多个，而各弯曲角度之间具有相对位置关系，同样的多个弯曲角度，排列方式不同，形成的矩阵会不同。因此，本发明实施例采用手势矩阵的方式对手势进行表征，能够更加清楚准确地表征图像中的手势，进而一定程度上可以提高手势识别的准确度。

步骤105、根据所述手部图像的手势矩阵，基于预设手势矩阵与功能的对应关系，确定与所述手部图像的手势矩阵对应的目标功能，并执行所述目标功能。

本发明实施例中，预设手势矩阵与功能的对应关系可以是用户根据实际需求设置的，该对应关系中可以包括有不同的预设手势矩阵以及对应的功能。其中，一个功能可以关联有一个预设手势矩阵，即一一映射，也可以关联多个预设手势矩阵，即一多映射，本发明实施例对此不作限定。

目标功能可以是对应关系中与所述手势矩阵匹配的预设手势矩阵对应的功能。示例的，假设目标功能为解锁电子设备，那么电子设备可以执行解锁功能。

综上所述，本发明实施例提供的一种响应方法，电子设备可以采集用户的手部图像，然后基于手部图像确定至少一根手指的指关节弯曲角度，根据指关节弯曲角度生成手势矩阵，根据该手部图像的手势矩阵，基于预设的手势矩阵与功能的对应关系，确定出当前手部图像的手势矩阵对应的目标功能。相较于现有技术中根据指关节到手部中心的距离确定的用户手势，执行对应功能的方式，由于指关节弯曲角度能够更为精准直接的表征手势，因此，本发明实施例根据多个指关节弯曲角度生成的手势矩阵，进行手势识别的方式，能够准确地识别出用户的手势，进而能够确保执行的该手势对应的目标功能即为用户想要执行的功能，提高了功能执行的准确率。

参照图2，示出了本发明另一种响应方法的步骤流程图，所述方法应用于电子设备，该方法具体可以包括：

步骤201、接收第一输入。

具体的，本步骤的实现方式可以参照前述步骤101，本发明实施例在此不做赘述。

步骤202、响应于所述第一输入，采集用户的至少一张手部图像。

本发明实施例中，手部图像可以为1张，即，本发明实施例中可以基于静态手势进行手势识别。该手部图像也可以为多张，即，本发明实施例中可以基于动态手势进行手势识别。具体的，在采集时，可以参照前述步骤101中的采集方式，拍摄一张或多张手部图像，本发明实施例在此不再赘述。

进一步地，在获取多张手部图像时，也可以通过下述步骤2021～步骤2022实现采集多张手部图像：

步骤2021、获取手势视频；所述手势视频是记录用户手部状态变化过程的视频。

本发明实施例中，电子设备可以具备视频录制功能。电子设备可以在用户通过预设操作启动电子设备的手势识别功能后，通过摄像头拍摄手势视频。在拍摄时，电子设备可以通过预设的对象跟踪算法对当前拍摄画面中包含的手部进行跟踪，以确保手势视频中包含有用户手部状态变化过程，进而可以确保后续步骤中基于获取到的手势视频能够截取到有效的手部图像。

步骤2022、截取所述手势视频中M个特定时刻对应的图像，得到M张手部图像；所述M是大于1的整数。

本步骤中，M个特定时刻可以是根据实际需求设置的。示例的，这M个特定时刻，可以是手势视频的起始时刻、中间时刻、结束时刻。由于用户执行一个手势的过程中，手部状态会一直变化，因此，本步骤中可以截取多张手部图像，以准确表征用户的手部变化过程，进而一定程度上确保后续用户动态手势识别的准确性。

相较于仅获取一张静态手部图像或直接依据手势视频中最后一帧的图像作为识别依据进行手势识别的方式，本发明实施例中，通过获取手势视频，并从手势视频中截取多张手部图像作为识别依据的方式，一定程度上可以提高识别依据的丰富性，进而提高识别效果。

步骤203、确定所述手部图像中手部的至少一根手指的指关节弯曲角度。

示例的，在获取到M张手部图像的情况下，电子设备就可以分别确定出每张手部图像中的至少一根手指的指关节弯曲角度。具体的，确定指关节弯曲角度的方式可以参照前述步骤102中的相关描述，本发明实施例在此不再赘述。

具体地，参照图3中的手部图像，图3中示出了左手手部的结构，可以看出，手部中包括指骨、掌骨、腕骨等。其中，指骨通过指关节连接在一起，指骨可绕指关节向内转动，指骨与指关节相对于相邻指骨/掌骨的转动角度即为指关节弯曲角度，该指关节弯曲角度的角度范围可以是0°～90°。假设将手骨以表1中的图形表示：

表1

那么，大拇指中各个指关节的连接关系可以为图4所示，食指、中指、无名指、小指的各个指关节的连接关系可以为图5所示。

具体的，如图4的(a)部分所示，拇指中包含两个指关节，其中，指关节1连接掌骨与指骨1，指关节2连接指骨1与指骨2。如图4的(b)部分所示，指骨1通过指关节1可绕指关节1向内转动，指骨1绕指关节1的转动角度θ₁₁，即为该指关节1的指关节弯曲角度；指骨2通过指关节2可绕指关节2向内转动，指骨2绕指关节2的转动角度θ₁₂，即为该指关节2的指关节弯曲角度。图4中(c)部分表示θ₁₁、θ₁₂均取90°时拇指的状态。

如图5的(a)部分所示，食指、中指、无名指和小指中包括3个指关节，其中，指关节1连接掌骨与指骨1，指关节2连接指骨1与指骨2，指关节3连接指骨2与指骨3。如图5中(b)部分所示，指骨1通过指关节1可绕指关节1向内转动，指骨1绕指关节1的转动角度θ_m1，即为该指关节1的指关节弯曲角度；指骨2通过指关节2可绕指关节2向内转动，指骨2绕指关节2的转动角度θ_m2，即为该指关节2的指关节弯曲角度；指骨3通过指关节3可绕指关节3向内转动，指骨3绕指关节3的转动角度θ_m2，即为该指关节3的指关节弯曲角度。图5中(c)部分则为θ_m1、θ_m2、θ_m3均取90°时前述4根手指的状态。

由前述图示可知，指关节弯曲角度能够精准的表示相邻两段手骨的相对位置，因此，本发明实施例中，通过直接确定指关节弯曲角度，使得后续步骤中，基于该指关节弯曲角度能够更加精确识别用户的手势。

步骤204、对于每个所述指关节弯曲角度，确定所述指关节弯曲角度所属的预设角度范围，将所述所属的预设预设角度范围对应的离散值，确定为所述指关节弯曲角度对应离散值；其中，不同预设角度范围对应不同的离散值。

本步骤中，预设角度范围可以是根据实际需求预先设定划分的，每个预设角度范围对应的离散值也可以是根据实际情况设置的。具体的，在确定指关节弯曲角度对应离散值时，可以将指关节弯曲角度依次与每个预设角度范围进行比对，以确定该指关节弯曲角度所属的预设角度范围。最后，将该所属的预设角度范围的离散值确定为该指关节弯曲角度对应离散值。

示例的，假设预设角度范围为：[0，α₀)，[α₀，α₁)，[α₁，α₂)，…，[α_N-1，90°]，该预设角度范围对应的离散值依次为：0，1，2，……，N，0＜α₀＜α₁＜α₂＜…＜α_N-1＜90°，θ_mn表示指关节弯曲角度，D_mn表示指关节弯曲角度对应离散值，那么可以在θ_mn∈[0，α₀)时，确定D_mn＝0；在θ_mn∈[α₀，α₁)时，确定D_mn＝1；在θ_mn∈[α₁，α₂)时，确定D_mn＝2；以此类推，当θ_mn∈[α_N-1，90°]时，确定D_mn＝N。

这样，通过上述操作过程，可以实现处于取值范围[0，90°]的无穷个指关节弯曲角度，映射到N个有限的离散值中，进而可以在不改变指关节弯曲角度相对大小的情况下，对指关节弯曲角度进行相应的缩小，进而一定程度上可以减少后续操作的计算量，进而提高计算效率。

步骤205、根据所述手部图像中手指的排列顺序及手部的掌面方向，确定所述手部图像中手部的手部取向。

由于电子设备采集的手部图像中可能为左手手部，也可能为右手手部，或者二者均包括在内。为了精确的对手势进行区分，本步骤中，可以确定手部图像中手部的手部取向。

具体的，电子设备可以基于前述步骤102中确定手指长度的方法，首先依据手部图像计算出手指的长度，基于人的5根手指长度各不相同的生理特征，依据该手指长度判断出手部图像中的手指对应人体的哪根手指，进而获取手部图像中手指的排列顺序。进一步地，可以利用图像识别算法，确定手部图像中手部的掌心部分处于正面还是背面。相应地，如果掌心部分处于正面，且在手指的指尖竖直向上的情况下，手指的排列顺序中大拇指位于最左边，那么可以确定手部图像中手部的手部取向为左手，如果掌心部分处于正面，且在手指的指尖竖直向上的情况下，手指的排列顺序中大拇指位于最右边，那么可以确定手部图像中手部的手部取向为右手。反之同理。

步骤206、将所述手部的指关节弯曲角度对应的离散值及所述手部取向的取向标记值作为矩阵中的元素，并按照预设排列顺序对所述元素进行排列，得到所述手势矩阵。

本步骤中，预设排列顺序可以是用户根据实际情况设定的。示例的，该排列顺序可以为同一手指的指关节的指关节弯曲角度对应的离散值位于同一行，不同手指相同位置的指关节的指关节弯曲角度的离散值位于同一列。手部取向的取向标记值位于大拇指相较于其他手指缺少的指关节的指关节弯曲角度的离散值对应的位置。当然，本发明实施例中，也可以直接使用指关节弯曲角度作为元素，本发明实施例对此不作限定。示例的，以获取手部的5根手指全部指关节弯曲角度为例，θ₁₃表示手部取向的取向标记值，当θ₁₃＝0时表示左手，当θ₁₃＝！0时表示右手。各手指中的指关节弯曲角度可以表示为：

手指	指关节1弯曲角度	指关节2弯曲角度	指关节3弯曲角度
				拇指	θ<sub>11</sub>∈[0，90°]	θ<sub>12</sub>∈[0，90°]	θ<sub>13</sub>∈{0，！0}
食指	θ<sub>21</sub>∈[0，90°]	θ<sub>22</sub>∈[0，90°]	θ<sub>23</sub>∈[0，90°]
				中指	θ<sub>31</sub>∈[0，90°]	θ<sub>32</sub>∈[0，90°]	θ<sub>33</sub>∈[0，90°]
无名指	θ<sub>41</sub>∈[0，90°]	θ<sub>42</sub>∈[0，90°]	θ<sub>43</sub>∈[0，90°]
				小指	θ<sub>51</sub>∈[0，90°]	θ<sub>52</sub>∈[0，90°]	θ<sub>53</sub>∈[0，90°]

表2

由此可得到手势(Ges)矩阵如下：

进一步地，以D₁₃表示手部取向的取向标记值，根据离散值生成的手指矩阵可以为：

进一步地，假设预设角度范围为[0，α)时，对应的离散值为D_mn＝0；预设角度范围为[α，90°]时，对应的离散值为D_mn＝1。以手部图像为图6，左手的取向标记值为0，右手的取向标记值为1，获取5根手指中所有的指关节的指关节弯曲角度为例。对应图6所示的手部图像，手部取向的取向标记值以及其他各个指关节弯曲角度可以均为0，相应地，可以得到该手部图像对应的手势矩阵为：

进一步地，以手部图像为图7，获取5根手指中所有的指关节的指关节弯曲角度为例。对应图7所示的手部图像，手部取向的取向标记值可以为0，其他各个指关节弯曲角度可以均为1，相应地，可以得到该手部图像对应的手势矩阵为：

再进一步地，以手部图像为图8，获取5根手指中所有的指关节的指关节弯曲角度为例。对应图8所示的手部图像，手部取向的取向标记值可以为0，拇指的两个指关节弯曲角度为0，其余四根手指的指关节弯曲角度为1，相应地，可以得到该手部图像对应的手势矩阵为：

步骤207、根据所述手部图像的手势矩阵，基于预设手势矩阵与功能的对应关系，确定与所述手部图像的手势矩阵对应的目标功能，并执行所述目标功能。

示例的，在获取M张手部图像的情况下，该对应关系中的一个预设功能可以关联N个预设手势矩阵，这N个预设手势矩阵可以是M个预设手部图像对应的预设手势矩阵，该M个预设手部图像可以是执行预设手势过程中的M个特定时刻的图像。其中，该预设手势矩阵与功能的对应关系可以通过下述步骤实现：

步骤(1)、接收第二输入。

本发明实施例中，第二输入可以是针对预设功能的点击输入，双击输入或长按输入等等。示例的，电子设备可以设置有对应关系设置界面。当用户需要预设手势矩阵与功能的对应关系时，可以进入该设置界面，该设置界面中可以现有多个可选的预设功能，相应地，用户可以对这些可选的预设功能执行第二输入。

步骤(2)、响应于所述第二输入，获取所述第二输入所指示的预设功能。

具体的，电子设备可以确定第二输入所选择的预设功能，进而得到第二输入所指示的预设功能。示例的，假设第二输入所选择的预设功能为锁屏功能，那么可以得到第二输入所指示的预设功能为锁屏功能。

步骤(3)、接收第三输入。

本发明实施例中，第三输入可以是针对手部图像或手势视频的输入功能。该第三输入中可以包含手部图像或手势视频。

步骤(4)、响应于所述第三输入，获取所述第三输入中包含的预设手部图像。

具体的，电子设备可以直接提取其中的手部图像，得到预设手部图像，也可以提取手势视频，截取该手势视频中M个特定时刻对应的图像，进而得到M张预设手部图像。当然，电子设备也可以采用其他方式获取预设手部图像，本发明实施例对此不作限定。

步骤(5)、根据所述预设手部图像中手部的至少一根手指的指关节弯曲角度及手部取向，生成所述预设手部图像的手势矩阵。

具体的，本步骤的实现方式与前述步骤103～104的实现方式相同，在此不再赘述。

步骤(6)、将所述手势矩阵与所述预设功能关联，得到所述手势矩阵与功能的对应关系。

具体的，在第三输入仅包含一个手部图像的情况下，可以将该一个手部图像的手势矩阵与该预设功能关联，得到一对一的对应关系。在第三输入包含多个手部图像或者包含手势视频的情况下，可以将该多个手部图像的手势矩阵或从手势视频中截取的多个手部图像的手势矩阵与该预设功能关联，得到一对多的对应关系。

在前述步骤(1)～(6)的基础上，用户可以重复该过程，即多次输入预设功能及其对应的手部图像，由此可以建立多组预设功能与预设手势矩阵的对应关系，进而丰富通过手势控制的功能种类。

相应的，根据所述手部图像的手势矩阵，基于预设手势矩阵与功能的对应关系，确定与所述手部图像的手势矩阵对应的目标功能的步骤，可以包括以下步骤2071～2072：

步骤2071、对于所述对应关系中的任一预设功能，将所述N个预设手势矩阵与所述M张手部图像的手势矩阵进行比对。

本步骤中，所述预设手势矩阵中的元素包括所述预设手部图像中手部取向的取向标记值及指关节弯曲角度对应的离散值，所述预设手势矩阵中的元素按照所述预设排列顺序排列，即，预设手势矩阵中包含的元素及元素的排列方式可以与手部图像的手势矩阵中包含的元素及元素的排列方式相同；相应地，可以通过下述操作实现比对：

对于任一M张手部图像，将该手部图像的手势矩阵中的元素值，与目标手部图像的预设手势矩阵中对应位置的元素值进行比对。其中，该目标手部图像是预设功能关联的与手部图像对应同一特定时刻的预设手部图像。示例的，假设该手部图像对应的特定时刻为起始时刻，那么该目标手部图像可以是该预设功能关联的起始时刻的预设手部图像。本发明实施例中，通过将两个矩阵中的元素值进行一一对比，可以精准的确定两个矩阵是否相匹配，进而提高比对的精准度。

步骤2072、若所述M张手部图像的手势矩阵与所述N个预设手势矩阵均相匹配，则确定所述预设功能为所述目标功能。

具体的，可以在手势矩阵中的每个元素值均与其对应的预设手势矩阵中对应位置的元素值相同时，认为两者相匹配。进一步地，如果M张手部图像的手势矩阵与N个预设手势矩阵逐一比对后均匹配，则可以认为该M张手部图像表示的手势与该M个预设手部图像表示的手势相同，因此，可以将该预设功能确定为目标功能。由于M张手部图像能够更精准的表征手势，因此，本发明实施例中通过为对应关系中的预设功能关联M个预设手部图像的预设手势矩阵，以及获取M张手部图像的手势矩阵，以多对多的形式进行匹配，在多个手势矩阵均匹配的情况下，才将预设功能为目标功能，可以提高目标功能确定的准确性。

进一步地，如果M张手部图像的手势矩阵与N个预设手势矩阵在第K个预设手势矩阵比对时不匹配，其中K小于N，则可以直接转入下一个预设功能的比对过程，省略与其他预设手势矩阵的比对，这样，可以减少比对过程的计算量。若遍历全部预设功能关联的预设手势矩阵后仍没有相匹配的N个预设手势矩阵，电子设备可以以提示框的形式向用户返回手势无效的提醒，以方便用户重新作出手势。

综上所述，本发明实施例提供的响应方法，电子设备可以采集用户的手部图像，然后基于手部图像确定至少一根手指的指关节弯曲角度，根据指关节弯曲角度对应离散值，基于指关节弯曲角度对应的离散值及手部取向的取向标记值生成手势矩阵，根据该手部图像的手势矩阵，基于预设的手势矩阵与功能的对应关系，确定出当前手部图像的手势矩阵对应的目标功能。相较于现有技术中根据指关节到手部中心的距离确定的用户手势，执行对应功能的方式，由于指关节弯曲角度能够更为精准直接的表征手势，因此，本发明实施例根据多个指关节弯曲角度生成的手势矩阵，进行手势识别的方式，能够准确地识别出用户的手势，进而能够确保执行的该手势对应的目标功能即为用户想要执行的功能，提高了功能执行的准确率。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图9，示出了本发明的一种电子设备的结构框图，具体，该电子设备90可以包括如下模块：

第一接收模块901，用于接收第一输入。

采集模块902，用于响应于所述第一输入，采集用户的至少一张手部图像。

确定模块903，用于确定所述手部图像中手部的至少一根手指的指关节弯曲角度。

第一生成模块904，用于根据所述指关节弯曲角度，生成所述手部图像的手势矩阵。

执行模块905，用于根据所述手部图像的手势矩阵，基于预设手势矩阵与功能的对应关系，确定与所述手部图像的手势矩阵对应的目标功能，并执行所述目标功能。

其中，第一生成模块904，具体用于：

对于每个所述指关节弯曲角度，确定所述指关节弯曲角度所属的预设角度范围，将所述所属的预设角度范围对应的离散值，确定为所述指关节弯曲角度对应离散值；其中，不同预设角度范围对应不同的离散值；

根据所述手部图像中手指的排列顺序及手部的掌面方向，确定所述手部图像中手部的手部取向；

将所述手部的指关节弯曲角度对应的离散值及所述手部取向的取向标记值作为矩阵中的元素，并按照预设排列顺序对所述元素进行排列，得到所述手势矩阵。

其中，所述采集模块902，具体用于：

获取手势视频；所述手势视频是记录用户手部状态变化过程的视频。

截取所述手势视频中M个特定时刻对应的图像，得到M张手部图像；所述M是大于1的整数。

所述对应关系中的一个预设功能关联N个预设手势矩阵，所述N个预设手势矩阵是M个预设手部图像对应的预设手势矩阵；所述M个预设手部图像是执行预设手势过程中的M个特定时刻的图像。

所述执行模块905，包括：

比对模块，用于对于所述对应关系中的任一预设功能，将所述N个预设手势矩阵与所述M张手部图像的手势矩阵进行比对。

目标功能确定模块，用于若所述M张手部图像的手势矩阵与所述N个预设手势矩阵均相匹配，则确定所述预设功能为所述目标功能。

所述预设手势矩阵中的元素包括预设手部图像中手部取向的取向标记值及指关节弯曲角度对应的离散值，所述预设手势矩阵中的元素按照所述预设排列顺序排列。

所述比对模块，具体用于：

对于任一所述M张手部图像，将所述手部图像的手势矩阵与目标手部图像的预设手势矩阵中对应位置的元素值进行比对。

其中，所述目标手部图像是所述预设功能关联的与所述手部图像对应同一特定时刻的预设手部图像。

所述电子设备90还包括:

第二接收模块，用于接收第二输入。

第一获取模块，用于响应于所述第二输入，获取所述第二输入所指示的预设功能。

第三接收模块，用于接收第三输入。

第二获取模块，用于响应于所述第三输入，获取所述第三输入中包含的预设手部图像。

第二生成模块，用于根据所述预设手部图像中手部的至少一根手指的指关节弯曲角度及手部取向，生成所述预设手部图像的手势矩阵。

建立模块，用于将所述手势矩阵与所述预设功能关联，得到所述手势矩阵与功能的对应关系。

综上所述，本发明实施例提供的电子设备，可以采集用户的手部图像，然后基于手部图像确定至少一根手指的指关节弯曲角度，根据指关节弯曲角度生成手势矩阵，根据该手部图像的手势矩阵，基于预设手势矩阵与功能的对应关系，确定与所述手部图像的手势矩阵对应的目标功能。相较于现有技术中根据指关节到手部中心的距离确定的用户手势，执行对应功能的方式，由于指关节弯曲角度能够更为精准直接的表征手势，因此，本发明实施例根据多个指关节弯曲角度生成的手势矩阵，进行手势识别的方式，能够准确地识别出用户的手势，进而能够确保执行的该手势对应的目标功能即为用户想要执行的功能，提高了功能执行的准确率。

图10是本发明是实现本发明各个实施例的一种电子设备的硬件结构示意图。

该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、处理器1010、以及电源411等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载移动终端、可穿戴设备、以及计步器等。

其中，处理器1010，用于接收第一输入。

处理器1010，用于响应于所述第一输入，采集用户的至少一张手部图像。

处理器1010，用于确定所述手部图像中手部的至少一根手指的指关节弯曲角度。

处理器1010，用于根据所述指关节弯曲角度，生成所述手部图像的手势矩阵。

处理器1010，用于根据所述手部图像的手势矩阵，基于预设手势矩阵与功能的对应关系，确定与所述手部图像的手势矩阵对应的目标功能，并执行所述目标功能。

本发明实施例中，电子设备可以采集用户的手部图像，然后基于手部图像确定至少一根手指的指关节弯曲角度，根据指关节弯曲角度生成手势矩阵，根据该手部图像的手势矩阵，基于预设的手势矩阵与功能的对应关系，确定出当前手部图像的手势矩阵对应的目标功能。相较于现有技术中根据指关节到手部中心的距离确定的用户手势，执行对应功能的方式，由于指关节弯曲角度能够更为精准直接的表征手势，因此，本发明实施例根据多个指关节弯曲角度生成的手势矩阵，进行手势识别的方式，能够准确地识别出用户的手势，进而能够确保执行的该手势对应的目标功能即为用户想要执行的功能，提高了功能执行的准确率。

应理解的是，本发明实施例中，射频单元1001可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器1010处理；另外，将上行的数据发送给基站。通常，射频单元1001包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元1001还可以通过无线通信系统与网络和其他设备通信。

电子设备通过网络模块1002为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元1003可以将射频单元1001或网络模块1002接收的或者在存储器1009中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元1003还可以提供与电子设备1000执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元1003包括扬声器、蜂鸣器以及受话器等。

输入单元1004用于接收音频或视频信号。输入单元1004可以包括图形处理器(Graphics Processing Unit，GPU)10041和麦克风10042，图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元1006上。经图形处理器10041处理后的图像帧可以存储在存储器1009(或其它存储介质)中或者经由射频单元1001或网络模块1002进行发送。麦克风10042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元1001发送到移动通信基站的格式输出。

电子设备1000还包括至少一种传感器1005，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板10061的亮度，接近传感器可在电子设备1000移动到耳边时，关闭显示面板10061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器1005还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元1006用于显示由用户输入的信息或提供给用户的信息。显示单元1006可包括显示面板10061，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板10061。

用户输入单元1007可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元1007包括触控面板10071以及其他输入设备10072。触控面板10071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板10071上或在触控面板10071附近的操作)。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1010，接收处理器1010发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板10071。除了触控面板10071，用户输入单元1007还可以包括其他输入设备10072。具体地，其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板10071可覆盖在显示面板10061上，当触控面板10071检测到在其上或附近的触摸操作后，传送给处理器1010以确定触摸事件的类型，随后处理器1010根据触摸事件的类型在显示面板10061上提供相应的视觉输出。虽然在图4中，触控面板10071与显示面板10061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板10071与显示面板10061集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元1008为外部装置与电子设备1000连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元1008可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备1000内的一个或多个元件或者可以用于在电子设备1000和外部装置之间传输数据。

存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1009可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器1010是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器1009内的软件程序和/或模块，以及调用存储在存储器1009内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器1010可包括一个或多个处理单元；优选的，处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。

电子设备1000还可以包括给各个部件供电的电源1011(比如电池)，优选的，电源1011可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，电子设备1000包括一些未示出的功能模块，在此不再赘述。

可选的，本发明实施例还提供一种电子设备，包括处理器1010，存储器1009，存储在存储器1009上并可在所述处理器1010上运行的计算机程序，该计算机程序被处理器1010执行时实现上述响应方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

可选的，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述响应方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (9)

1.一种响应方法，应用于电子设备，其特征在于，包括：

接收第一输入；

响应于所述第一输入，采集用户的至少一张手部图像；

确定所述手部图像中手部的至少一根手指的指关节弯曲角度；

根据所述指关节弯曲角度，生成所述手部图像的手势矩阵；

根据所述手部图像的手势矩阵，基于预设手势矩阵与功能的对应关系，确定与所述手部图像的手势矩阵对应的目标功能，并执行所述目标功能；

所述根据所述指关节弯曲角度，生成所述手部图像的手势矩阵，包括：

对于每个所述指关节弯曲角度，确定所述指关节弯曲角度所属的预设角度范围；

将所述所属的预设角度范围对应的离散值，确定为所述指关节弯曲角度对应离散值；其中，不同预设角度范围对应不同的离散值；

根据所述手部图像中手指的排列顺序及手部的掌面方向，确定所述手部图像中手部的手部取向；

将所述手部的指关节弯曲角度对应的离散值及所述手部取向的取向标记值作为矩阵中的元素，并按照预设排列顺序对所述元素进行排列，得到所述手势矩阵。

2.根据权利要求1所述的方法，其特征在于，所述采集用户的至少一张手部图像，包括：

获取手势视频；所述手势视频是记录用户手部状态变化过程的视频；

截取所述手势视频中M个特定时刻对应的图像，得到M张手部图像；所述M是大于1的整数。

3.根据权利要求2所述的方法，其特征在于，所述对应关系中的一个预设功能关联N个预设手势矩阵，所述N个预设手势矩阵是M个预设手部图像对应的预设手势矩阵；所述M个预设手部图像是执行预设手势过程中的M个特定时刻的图像；

所述根据所述手部图像的手势矩阵，基于预设手势矩阵与功能的对应关系，确定与所述手部图像的手势矩阵对应的目标功能，包括：

对于所述对应关系中的任一预设功能，将所述N个预设手势矩阵与所述M张手部图像的手势矩阵进行比对；

若所述M张手部图像的手势矩阵与所述N个预设手势矩阵均相匹配，则确定所述预设功能为所述目标功能。

4.根据权利要求3所述的方法，其特征在于，所述预设手势矩阵中的元素包括所述预设手部图像中手部取向的取向标记值及指关节弯曲角度对应的离散值，所述预设手势矩阵中的元素按照预设排列顺序排列；

所述将所述N个预设手势矩阵与所述M张手部图像的手势矩阵进行比对，包括：

对于任一所述M张手部图像，将所述手部图像的手势矩阵中的元素值，与目标手部图像的预设手势矩阵中对应位置的元素值进行比对；

其中，所述目标手部图像是所述预设功能关联的与所述手部图像对应同一特定时刻的预设手部图像。

5.根据权利要求1所述的方法，其特征在于，所述根据所述手部图像的手势矩阵，基于预设手势矩阵与功能的对应关系，确定与所述手部图像的手势矩阵对应的目标功能之前，所述方法还包括:

接收第二输入；

响应于所述第二输入，获取所述第二输入所指示的预设功能；

接收第三输入；

响应于所述第三输入，获取所述第三输入中包含的预设手部图像；

根据所述预设手部图像中手部的至少一根手指的指关节弯曲角度及手部取向，生成所述预设手部图像的手势矩阵；

将所述手势矩阵与所述预设功能关联，得到所述手势矩阵与功能的对应关系。

6.一种电子设备，其特征在于，所述电子设备包括：

第一接收模块，用于接收第一输入；

采集模块，用于响应于所述第一输入，采集用户的至少一张手部图像；

确定模块，用于确定所述手部图像中手部的至少一根手指的指关节弯曲角度；

第一生成模块，用于根据所述指关节弯曲角度，生成所述手部图像的手势矩阵；

执行模块，用于根据所述手部图像的手势矩阵，基于预设手势矩阵与功能的对应关系，确定与所述手部图像的手势矩阵对应的目标功能，并执行所述目标功能；

所述第一生成模块，具体用于：

对于每个所述指关节弯曲角度，确定所述指关节弯曲角度所属的预设角度范围，将所述所属的预设角度范围对应的离散值，确定为所述指关节弯曲角度对应离散值；其中，不同预设角度范围对应不同的离散值；

根据所述手部图像中手指的排列顺序及手部的掌面方向，确定所述手部图像中手部的手部取向；

将所述手部的指关节弯曲角度对应的离散值及所述手部取向的取向标记值作为矩阵中的元素，并按照预设排列顺序对所述元素进行排列，得到所述手势矩阵。

7.根据权利要求6所述的电子设备，其特征在于，所述采集模块，具体用于：

获取手势视频；所述手势视频是记录用户手部状态变化过程的视频；

截取所述手势视频中M个特定时刻对应的图像，得到M张手部图像；所述M是大于1的整数。

8.根据权利要求7所述的电子设备，其特征在于，所述对应关系中的一个预设功能关联N个预设手势矩阵，所述N个预设手势矩阵是M个预设手部图像对应的预设手势矩阵；所述M个预设手部图像是执行预设手势过程中的M个特定时刻的图像；

所述执行模块，包括：

比对模块，用于对于所述对应关系中的任一预设功能，将所述N个预设手势矩阵与所述M张手部图像的手势矩阵进行比对；

目标功能确定模块，用于若所述M张手部图像的手势矩阵与所述N个预设手势矩阵均相匹配，则确定所述预设功能为所述目标功能。

9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的响应方法的步骤。

Images