CN117389454A - 指关节操作的识别方法及电子设备 - Google Patents

Abstract

本申请实施例提供一种指关节操作的识别方法及电子设备，涉及人工智能技术领域。在本申请方案中，当指关节作用于触控屏的不同触控区域时，ACC信号可能会呈现不同的变化趋势，因此提出从触碰信号中提取触摸特征用来判断接触面积和接触位置，从ACC信号中提取ACC特征用来判断触摸屏幕的力度。另外，前置一个CAP二分类模型，从CAP信号中提取用于表征与指关节之间的相关性的score特征。然后将ACC特征、score特征和触摸特征进行特征融合，输入指关节分类模型，从而可以获取更好的分类效果。

Description

指关节操作的识别方法及电子设备

技术领域

本申请涉及人工智能(artificial intelligence，AI)技术领域，尤其涉及一种指关节操作的识别方法及电子设备。

背景技术

触控屏(touch panel，TP)作为电子设备的人机交互装置，得到越来越广泛的应用。

目前，指关节是一种常用的用户与触控屏的交互方式。当用户将指关节在触控屏上进行触摸时，电子设备将检测到触摸点的信号发生变化。然后，电子设备可以根据变化的信号，识别出指关节交互方式，之后根据指关节与触控屏的触碰时间，以及指关节在触控屏的滑动距离等，执行截屏、录屏和切换窗口等快捷功能。

然而，传统指关节的触摸检测算法存在多种问题。比如，传统指关节的触摸检测算法泛化性能不足，导致对指关节交互方式的识别率低。再比如，传统指关节的触摸检测算法防伪能力不足，导致未能有效过滤非指关节交互方式，使得误触率高。因此，如何优化指关节的触摸检测算法称为亟待解决的技术问题。

发明内容

本申请提供一种指关节操作的识别方法及电子设备，解决了传统指关节的触摸检测算法存在的识别率低和误触率高等问题，提升了指关节的识别效果。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请实施例提供一种指关节操作的识别方法。该方法包括：

接收作用于触控屏的触控操作；

响应于触控操作，获取加速度(acceleration，ACC)信号、电容(capacitor，CAP)信号和触碰信号，ACC信号为通过ACC传感器采集的原始信号，CAP信号为通过CAP传感器采集的原始信号，触碰信号为对CAP信号进行处理后得到的信号；

提取ACC特征、置信度(score)特征和触摸特征，ACC特征为ACC信号中与指关节操作关联的特征，score特征为CAP信号中与指关节操作关联的特征，触摸特征为触碰信号中与指关节操作关联的特征；

对ACC特征、score特征和触摸特征进行特征融合；

将融合后的特征输入指关节分类模型，得到目标分类结果，目标分类结果指示触控操作为指关节操作或非指关节操作。

应理解，当指关节作用于触控屏的不同触控区域时，ACC信号可能会呈现不同的变化趋势。因此，本申请实施例提出了从触碰信号提取触摸特征，用来判断接触面积和接触位置，ACC信号中提取的ACC特征，用来判断触摸屏幕的力度。另外，从CAP信号中提取用于表征与指关节之间的相关性的score特征。然后，将ACC特征、score特征和触摸特征进行特征融合输入指关节分类模型，从而可以获取更好的分类效果，提高指关节操作的识别率，并降低非指关节操作的误触率。

在一种可能的实现方式中，置信度特征为在加速度特征指示触控操作为指关节操作的情况下，从触碰信号中提取的特征。应理解，在加速度特征指示触控操作为非指关节操作的情况下，电子设备无需从触碰信号中提取的置信度特征，也无需进行后续的特征融合等操作。

在一种可能的实现方式中，提取ACC特征、score特征和触摸特征，包括：

从ACC信号中提取ACC特征；

将ACC特征输入ACC二分类模型，得到初步分类结果；

在初步分类结果指示触控操作为指关节操作的情况下，将CAP信号输入CAP二分类模型，得到score特征，并从触碰信号中提取触摸特征。

在一种可能的实现方式中，提取ACC特征、score特征和触摸特征，包括：

从ACC信号中提取ACC特征，并从触碰信号中提取触摸特征；

将ACC特征输入ACC二分类模型，得到初步分类结果；

在初步分类结果指示触控操作为指关节操作的情况下，将CAP信号输入CAP二分类模型，得到score特征。

应理解，通过取消手动设置的预设阈值，采用ACC二分类模型对ACC特征进行分类，实现了采用机器筛选方式代替人工筛选方式，从而提高了ACC特征筛选效率，并且，提升了指关节信号的筛选效果。

在一种可能的实现方式中，触摸特征包括接触位置特征和接触面积特征中的至少一项。其中，接触位置特征用于表示身体部位在触控屏上的交互位置，接触面积特征用于表示身体部位与触控屏接触的面积。

在一种可能的实现方式中，接触位置特征用于表示触碰点所在网格的坐标网格编号。其中，触碰点所在网格为根据触控屏的分辨率，对触控屏划分得到的网格列表中的至少一个网格。

应理解，采用坐标表示触碰位置的方式存在计算量大和易泄漏用户隐私的问题，通过设置网格特征，可以实现在降低计算量和保护隐私的情况下，确定触碰点在触控屏中的大致位置，进而确定是否为指关节操作。

在一种可能的实现方式中，网格列表包括p行和q列网格。网格列表中的每个网格的长度等于触控屏的纵轴的像素点数除以p。网格列表中的每个网格的宽度等于触控屏的横轴的像素点数除以q。其中，p和q为正整数。

在一种可能的实现方式中，当触摸特征包括接触位置特征时，提取接触位置特征，包括：

根据触碰信号，确定触碰点的X轴坐标和Y轴坐标；

根据X轴坐标和Y轴坐标，确定表示触碰点所在网格的坐标网格编号的接触位置特征。

其中，X轴为触控屏所在平面的水平方向，Y轴为触控屏所在平面的竖直方向。

在一种可能的实现方式中，ACC特征包括以下至少一项：最大一阶差分特征，信号振幅特征，前段过零数特征，最大高通值特征，均值域绝对值之和特征，前段归一化值方差特征，前段归一化值振幅特征，快速傅立叶变换均值特征，以及部分快速傅立叶变换均值特征。

在一种可能的实现方式中，score特征为score得分。score得分用于表示CAP信号与指关节操作的关联程度。

在一种可能的实现方式中，CAP二分类模型为卷积神经网络模型。

在一种可能的实现方式中，ACC二分类模型为全连接神经网络模型。

在一种可能的实现方式中，指关节分类模型为全连接神经网络模型。

在一种可能的实现方式中，该方法还包括：

在目标分类结果指示触控操作为指关节操作的情况下，确定触控操作属于的指关节手势，并执行与指关节手势对应的响应功能。其中，不同的指关节手势对应不同的响应功能。

在一种可能的实现方式中，指关节手势包括以下至少一项：指关节双击手势，指关节敲击并画圈手势，指关节敲击并画字母S手势，三个指关节沿着屏幕由上向下滑动手势，双指关节双击手势，指关节敲击并在屏幕中间画直线手势。

在一种可能的实现方式中，与指关节双击手势对应的响应功能为截取全屏功能。

在一种可能的实现方式中，与指关节敲击并画圈手势对应的响应功能为局部截屏功能。

在一种可能的实现方式中，与指关节敲击并画字母S手势对应的响应功能为滚动截屏功能。

在一种可能的实现方式中，与三个指关节沿着屏幕由上向下滑动手势对应的响应功能为滑动截屏功能。

在一种可能的实现方式中，与双指关节双击手势对应的响应功能为启动/停止录屏功能。

在一种可能的实现方式中，与指关节敲击并在屏幕中间画直线手势对应的响应功能为分屏功能。

第二方面，本申请提供一种识别装置，该装置包括用于执行上述第一方面的方法的单元/模块。该装置可对应于执行上述第一方面描述的方法，该装置中的单元/模块的相关描述请参照上述第一方面的描述，为了简洁，在此不再赘述。

第三方面，提供一种电子设备，包括处理器，该处理器与存储器耦合，该处理器用于执行该存储器中存储的计算机程序或指令，以使得电子设备实现如第一方面中任一项的指关节操作的识别方法。

第四方面，提供一种芯片，该芯片与存储器耦合，该芯片用于读取并执行该存储器中存储的计算机程序，以实现如第一方面中任一项的指关节操作的识别方法。

第五方面，提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，当该计算机程序在电子设备上运行时，使得电子设备执行如第一方面中任一项的指关节操作的识别方法。

第六方面，提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面中任一项的指关节操作的识别方法。

可以理解的是，上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

图1为本申请实施例提供的一种设置有加速度计的触控屏的示意图；

图2为本申请实施例提供的一种互电容式触控屏的IC电极排布示意图；

图3为本申请实施例提供的一种互电容式触控屏的工作原理的示意图；

图4为本申请实施例提供的一种CAP信号对应的节点矩阵的示意图；

图5为本申请实施例提供的一种指关节的触摸检测算法的流程示意图；

图6为本申请实施例提供的另一种指关节的触摸检测算法的流程示意图；

图7为本申请实施例提供的采用阈值1对ACC特征进行手动筛选的示意图；

图8为本申请实施例提供的采用阈值2对ACC特征进行手动筛选的示意图；

图9为本申请实施例提供的采用阈值3对ACC特征进行手动筛选的示意图；

图10为本申请实施例提供的采用阈值4对ACC特征进行手动筛选的示意图；

图11为本申请实施例提供的食指的指关节敲击屏幕的左上部的正视图；

图12为本申请实施例提供的食指的指关节敲击屏幕的左上部的斜视图；

图13为本申请实施例提供的食指的指关节敲击屏幕的右上部的正视图；

图14为本申请实施例提供的食指的指关节敲击屏幕的右上部的斜视图；

图15为本申请实施例提供的食指的指关节敲击屏幕的左下部的正视图；

图16为本申请实施例提供的食指的指关节敲击屏幕的左下部的斜视图；

图17为本申请实施例提供的食指的指关节敲击屏幕的右下部的正视图；

图18为本申请实施例提供的食指的指关节敲击屏幕的右下部的斜视图；

图19为本申请实施例提供的一种ACC信号的变化趋势的示意图；

图20为本申请实施例提供的另一种ACC信号的变化趋势的示意图；

图21为本申请实施例提供的改进后的指关节操作的识别方法的流程示意图；

图22为本申请实施例提供的一组指关节、指尖和指腹分别对应的7*7节点矩阵的示意图；

图23为本申请实施例提供的一种网格列表的示意图；

图24为本申请实施例提供的特征融合的示意图；

图25为本申请实施例提供的CAP二分类模型的示意图；

图26为本申请实施例提供的ACC二分类模型的示意图；

图27为本申请实施例提供的指关节分类模型的示意图；

图28为本申请实施例提供的电子设备的软件结构示意图；

图29为本申请实施例提供的识别装置的示意图；

图30为本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。

在本申请的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B。在本申请的描述中，“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

在本申请的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。例如，第一阈值和第二阈值等是用于区别不同的阈值，而不是用于描述阈值的特定顺序。在本申请实施例中，“多个”是指两个或两个以上。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

首先对本申请中涉及的一些名词或者术语进行解释说明。

触控屏，又称为触摸屏、触控面板，是一种可接收触控笔和手指等输入的信号的感应式液晶显示装置。通常，触控屏由触摸检测部件和触控屏控制器组成。触摸检测部件安装在液晶显示装置上层，用于检测用户的触摸位置等触摸信息，并将检测到的触摸信息传送至触控屏控制器。触控屏控制器用于对触摸信息进行处理后，将相应信号发送到处理器。然后，处理器对信号进行处理后，执行对应的响应动作，例如开关机、打开应用程序、拍摄图像、截屏或切换窗口等。

在一些实施例中，触摸检测部件由多种类型的传感器组成，例如，ACC传感器、CAP传感器、压电弯曲元件、压电薄膜、电位计、可变磁阻传感器、压电式传感器、压阻式传感器、伺服传感器、位移传感器、速度传感器、振动传感器、微机电系统(micro-electro-mechanical system，MEMS)传感器、陀螺仪、接近传感器、电传声器、水听器、电容传声器、驻极体电容传声器、动态传声器、带式传声器、碳粒传声器、压电传声器、光纤传声器、激光传声器及液体传声器等。

当用户的手掌、指腹、指尖、指甲、侧甲和指关节等身体部位与触控屏接触时，发生触摸事件。在触摸事件的影响下，传感器将采集到两类原始信号：

第1类原始信号为，当触控屏的表面在用户施加的机械力的作用下产生机械振动时，由ACC传感器、冲击传感器和振动传感器等采集到的运动信号。该运动信号可以用于衡量用户施加在触控屏上的机械力的大小。在机械力的作用下，电子设备可能从静止状态切换为运动状态，也可能从运动状态切换为静止状态，因此，该振动信号也可以用于表征在机械力的作用下，电子设备的运动/静止状态。

以通过ACC传感器采集的ACC信号为例进行说明。

示例性地，如图1所示，电子设备的触控屏设置有加速度计，比如，线性可变差动变压器(linear variable differential transformer，LVDT)。其中，加速度计可以由ACC传感器、支承、电位器、弹簧和外壳等部件组成。加速度计采集的ACC信号可以携带加速度数据和/或角速度数据等。其中，加速度数据可以用于表征线加速度的大小，角速度数据可以用于表征角加速度的大小。

加速度数据可以是电子设备分别在X轴，Y轴和Z轴的加速度的大小。其中，X轴为触控屏所在平面的水平方向，Y轴为触控屏所在平面的竖直方向，Z轴为贯穿触控屏的垂直方向。当电子设备被放置在桌面上时，电子设备处于静止状态，此时加速度的变化量为零，或趋近于零，比如X轴，Y轴和Z轴的加速度的变化量均小于或等于0.1g，则可以确定电子设备处于静止状态。当用户手指在触控屏的某个敲击点进行敲击时，在机械力的作用下，加速度的变化量不为零，或不趋近于零，比如X轴，Y轴和Z轴的加速度的变化量大于0.1g，则可以确定电子设备处于运动状态。

角速度数据是电子设备围绕X轴，Y轴和Z轴的角速度的大小。如果各个方向上的角速度的变化量为零，或趋近于零，比如围绕X轴，Y轴和Z轴的角速度的变化量均小于3弧度/秒，则确定电子设备处于静止状态。如果任一方向上的角速度的变化量不为零，或不趋近于零，比如X轴，Y轴和Z轴的角速度的变化量大于3弧度/秒，则可以确定电子设备处于运动状态。

应理解，作用于触控屏的机械力越大，加速度的变化量越大，因此ACC信号可以用于衡量机械力的大小。

第2类原始信号为，由CAP传感器、压电式传感器和压阻式传感器等采集到的TP信号。该TP信号与接触触控屏的用户身体部位的触摸特征关联，用于确定触摸事件类型。

以通过CAP传感器采集的CAP信号为例进行说明。CAP传感器可以为一款采集CAP信号的集成电路(integrated circuit，IC)芯片。IC芯片可以由IC电极组成。

示例性地，图2示出了一种互电容式触控屏的IC电极排布示意图。互电容式触控屏在两层氧化铟锡(indium-tin-oxide，ITO)导电玻璃图层上，蚀刻出不同的ITO导电线路模块。两层导电线路模块相互垂直于触控屏的显示器上，形成横向电极和纵向电极。横向电极和纵向电极可视为在X轴和Y轴方向连续变化的滑条。由于横向电极和纵向电极位于不同表面，两组电极交叉的地方将会形成一个电容节点。一个滑条可视为驱动线，另一个滑条可视为侦测线。当电流经过驱动线中的一条导线时，如果外界有电容变化，那么将会引起另一层导线上电容节点的变化。

示例性地，图3示出了一种互电容式触控屏的工作原理的示意图。互电容式触控屏的控制器周期性地在横向电极依次发出激励信号，也称为驱动信号。然后，纵向电极获取响应信号，从而可以得到所有横向电极和纵向电极交汇点的电容值，即，得到整个互电容式触控屏的二维平面的电容大小。当手指触摸到互电容式触控屏时，引起触摸点附近两个电极之间的耦合，相当于为两个电极引入新电容，从而改变了纵向电极测量的电荷大小，使得两个电极之间的电容值发生变化。

在一种可选的实现方式中，CAP信号即为响应信号，也就是说，根据CAP信号可以确定所有电容节点的电容值。在另一种可选的实现方式中，由于互电容式触控屏通常包括大量的电容节点，当手指触摸到互电容式触控屏时，仅会改变触摸点附近的电容节点的电容值，因此IC芯片可以根据触摸点，从响应信号中提取CAP信号。CAP信号用于指示一个节点矩阵中各个电容节点的电容值。其中，该节点矩阵可以是由m行、n列电容节点组成。例如，节点矩阵的中心节点的电容值在响应信号指示的所有电容节点的电容值中最大，即，最大电容值对应的电容节点是节点矩阵的中心节点，节点矩阵相当于以中心节点为中心划定的一个包含多个电容节点的触控区域。应理解，由于响应信号和CAP信号都可以用于指示电容节点的电容值，因此两者均可以称为原始信号。

需要说明的是，m和n的具体取值可以根据识别方式、触控屏的电容节点数量等进行设置，本申请实施例不作限定。m和n为正整数。

在一些实施例中，m和n的取值可以相等，比如，m＝n＝7。

在另一些实施例中，m和n的取值也可以不相等，比如m＝7，n＝9。

示例性地，图4示出了一种CAP信号对应的节点矩阵的示意图。当用户使用食指的指关节触碰触控屏时，IC芯片采集到CAP信号。CAP信号包含一组CAP数据。CAP数据包含了7*7节点矩阵中各个电容节点的电容值。7*7节点矩阵的中心节点的电容值为1771。中心节点的电容值1771在触摸屏所有电容节点的电容值最大。应理解，由于7*7节点矩阵中的各个电容节点的电容值变化是由用户身体部位与触控屏接触引起的，因此，CAP信号与接触触控屏的用户身体部位的触摸特征关联。

当用户身体部位与触控屏接触时，尽管采集到的CAP信号与接触触控屏的用户身体部位的触摸特征关联，但是由于CAP信号是仅携带了电容节点的电容信息的原始信号，CAP信号不能直观地反映出用户身体部位与触控屏接触时的触摸特征，因此电子设备无法直接根据CAP信号判断出是否为用户的身体部位(比如指关节)触碰触摸屏。在这种情况下，电子设备需要对CAP信号进行处理，得到触碰信号。该触碰信号可以直观地表现出用户身体部位与触控屏接触时的触摸特征。

示例性地，触碰信号可以携带触摸数据，例如：orientation数据，用于描述触摸区域和工具区域以垂直方向顺时针方向的弧度方向；pressure数据，用于描述手指或其他工具施加到设备的压力；size数据，用于描述与设置的最大可检测尺寸相关的指针触摸区域的大小；toolMajor数据，用于描述接近工具大小的椭圆长轴的尺寸；toolMinor数据，用于描述接近工具大小的椭圆短轴的尺寸；touchMajor数据，用于描述接触点触摸区域的椭圆长轴的尺寸；touchMinor数据，用于描述接触点触摸区域的椭圆短轴的尺寸；x数据，用于描述指针移动的X轴坐标；y数据，用于描述指针移动的Y轴坐标。这些触摸数据可以用于表示触摸特征，比如x数据和y数据用于表示触摸点在触控屏中的触摸位置。

至此，本申请实施例已经介绍了三种信号：ACC信号、CAP信号和触碰信号。其中，ACC信号为通过ACC传感器采集的原始信号，用于表征在机械力的作用下，电子设备的运动/静止状态。CAP信号为通过CAP传感器采集的原始信号，该原始信号携带了电容节点的电容信息。触碰信号为对CAP信号进行处理后得到的信号，可以用于表征用户身体部位与触控屏接触时的触摸特征。

结合上述实施例的分析，上述三种信号均与身体部位关联。当用户采用不同的身体部位触碰触控屏时，这三种信号的信号特征有所不同，电子设备利用这三种信号的信号特征，可以对不同身体部位进行识别。本申请实施例旨在采用这三种信号对指关节进行识别。

下面将介绍两种采用这三种信号进行指关节识别的算法。

图5示出了一种指关节的触摸检测算法的流程示意图。该算法包括步骤：

步骤51.响应于用户的触控操作，获取ACC信号、CAP信号和触碰信号。

对于这三种信号，可以参照上述实施例的具体描述，此处不再赘述。

步骤52.对ACC信号进行特征提取，以得到ACC特征。

其中，ACC特征为ACC信号中与指关节的触控操作关联的特征，可以用来判断身体部位作用于触控屏的力度。应理解，不同手势对应的力度可能有所不同，从ACC信号中提取的ACC特征可能也有所差异。

步骤53.采用预设阈值对ACC特征和触碰信号进行初步筛选。

其中，与触碰信号对应的阈值可以为预设面积阈值，与ACC特征对应的阈值可以为预设特征阈值。需要说明的是，从ACC特征提取的ACC特征的数量为一个或多个。对于多个ACC特征，不同ACC特征可能对应不同的预设阈值。

电子设备接收到的触控操作可能是指关节操作，也可能是非指关节操作。由于指关节操作对应的ACC特征，与非指关节操作对应的ACC特征可能会呈现出不同的分布规律，因此可以采用预设特征阈值对某些非指关节信号进行初步筛选。当ACC特征不符合预设特征阈值时，可以直接确定触控操作是非指关节操作，从而无需进行后续的步骤54-步骤56。当ACC特征符合预设特征阈值时，由于仅是对信号的粗略筛选，存在将非指关节操作误判为指关节操作的可能性，因此需要执行步骤54-步骤56，以进一步精确检测是否为指关节操作。

此外，指关节操作对应的触碰信号，与非指关节操作对应的触碰信号可能也有所不同，比如指腹与触控屏的接触面积较大，指关节与触控屏的接触面积较小，因此可以采用预设面积阈值对某些非指关节信号进行初步筛选。当触碰信号的接触面积大于预设面积阈值时，可以直接确定触控操作是非指关节操作，从而无需进行后续的步骤54-步骤56。当触碰信号的接触面积小于预设面积阈值时，由于仅是对信号的粗略筛选，存在将非指关节操作误判为指关节操作的可能性，因此需要执行步骤54-步骤56，以进一步精确检测是否为指关节操作。

对于不同的ACC特征，设置的阈值和筛选方式可能也有所不同。例如，对于一些ACC特征，设置第一阈值，以筛选掉小于第一阈值的特征；对于另一些ACC特征，设置第二阈值，以筛选掉大于第二阈值的特征；对于再一些ACC特征，设置第三阈值和第四阈值，以筛选掉小于第三阈值的特征，且大于第四阈值的特征，第三阈值小于第四阈值。

步骤54.将ACC信号输入ACC二分类模型。

在ACC特征符合预设特征阈值，触碰信号符合接触面积阈值时，触碰操作为指关节操作的可能性较高，因此可以采用ACC二分类模型对ACC信号进行二分类，以进行精确检测，从而得到下述任意一种分类结果：

一种分类结果是：作用于触控屏的触控操作为指关节的触控操作；

另一种分类结果是：作用于触控屏的触控操作为非指关节的触控操作。

若ACC二分类模型的输出结果是：作用于触控屏的触控操作为指关节的触控操作，则执行下述步骤55。

若ACC二分类模型的输出结果是：作用于触控屏的触控操作为非指关节的触控操作，则电子设备不作任何处理，或者继续判断具体的非指关节的触控操作类型，比如指腹、指尖、指甲、侧甲操作，以执行与非指关节的触控操作对应的响应功能。

步骤55.将CAP信号输入CAP五分类模型，得到CAP五分类模型的分类结果。

CAP五分类模型根据原始的CAP信号进行五分类，得到下述任意一种分类结果：

第一种分类结果是：作用于触控屏的触控操作为指关节的触控操作；

第二种分类结果是：作用于触控屏的触控操作为指腹的触控操作；

第三种分类结果是：作用于触控屏的触控操作为指尖的触控操作；

第四种分类结果是：作用于触控屏的触控操作为指甲的触控操作；

第五种分类结果是：作用于触控屏的触控操作为侧甲的触控操作。

若CAP五分类模型的分类结果是：作用于触控屏的触控操作为指关节的触控操作，则执行下述步骤56。

若CAP五分类模型的分类结果是：作用于触控屏的触控操作为指腹的触控操作，则执行与指腹的触控操作对应的响应功能。

若CAP五分类模型的分类结果是：作用于触控屏的触控操作为指尖的触控操作，则执行与指尖的触控操作对应的响应功能。

若CAP五分类模型的分类结果是：作用于触控屏的触控操作为指甲的触控操作，则执行与指甲的触控操作对应的响应功能。

若CAP五分类模型的分类结果是：作用于触控屏的触控操作为侧甲的触控操作，则执行与侧甲的触控操作对应的响应功能。

步骤56.将CAP信号输入CAP二分类模型，得到CAP二分类模型的分类结果。

需要说明的是，上述步骤55可能存在手势误判的可能，因此电子设备可以再次将CAP信号输入CAP二分类模型，得到CAP二分类模型的分类结果，从而提高了指关节的识别精度，降低了用户操作的误触率。

CAP二分类模型根据原始的CAP信号进行二分类，得到下述任意一种分类结果：

若CAP二分类模型的输出结果是：作用于触控屏的触控操作为指关节的触控操作，则电子设备可以执行与指关节的触控操作对应的响应功能。

若CAP二分类模型的输出结果是：作用于触控屏的触控操作为非指关节的触控操作，则不作任何处理，或执行与非指关节的触控操作对应的响应功能。

图6示出了另一种指关节的触摸检测算法的流程示意图。该算法包括步骤：

步骤61.响应于用户的触控操作，获取ACC信号、CAP信号和触碰信号。

对于这三种信号，可以参照上述实施例的具体描述，此处不再赘述。

步骤62.对ACC信号进行特征提取，以得到ACC特征。

其中，ACC特征为ACC信号中与指关节的触控操作关联的特征。

步骤63.采用预设阈值对ACC特征和触碰信号进行初步筛选。其中，与触碰信号对应的阈值可以为预设面积阈值，与ACC特征对应的阈值可以为预设特征阈值。

对于步骤63的具体实现方式，可以参照上述步骤53的描述，此处不再赘述。

步骤64.在ACC特征符合预设特征阈值，触碰信号符合接触面积阈值时，将原始的CAP信号输入CAP五分类模型，得到CAP五分类模型的分类结果。

CAP五分类模型对信号进行五分类，得到下述任意一种分类结果：

第一种分类结果是：作用于触控屏的触控操作为指关节的触控操作；

第二种分类结果是：作用于触控屏的触控操作为指腹的触控操作；

第三种分类结果是：作用于触控屏的触控操作为指尖的触控操作；

第四种分类结果是：作用于触控屏的触控操作为指甲的触控操作；

第五种分类结果是：作用于触控屏的触控操作为侧甲的触控操作。

若CAP五分类模型的分类结果是：作用于触控屏的触控操作为指关节的触控操作，则执行与指关节的触控操作对应的响应功能。

若CAP五分类模型的分类结果是：作用于触控屏的触控操作为指腹的触控操作，则执行与指腹的触控操作对应的响应功能。

若CAP五分类模型的分类结果是：作用于触控屏的触控操作为指尖的触控操作，则执行与指尖的触控操作对应的响应功能。

若CAP五分类模型的分类结果是：作用于触控屏的触控操作为指甲的触控操作，则执行与指甲的触控操作对应的响应功能。

若CAP五分类模型的分类结果是：作用于触控屏的触控操作为侧甲的触控操作，则执行与侧甲的触控操作对应的响应功能。

上述图5和图6中的ACC二分类模型、CAP二分类模型、CAP五分类模型为传统机器学习模型或神经网络模型。

应理解，与图5提供的算法相比，图6提供的算法省略了ACC二分类模型以及CAP二分类模型。由于图6提供的算法更为简单，相当于放宽了指关节的检测条件，因此提高了指关节的识别率，但也会导致非指关节的误触率升高。

需要说明的是，在上述两种算法中的预设阈值为在电子设备的研发阶段，由工作人员采用手动设置阈值的方式，通过多次调整后最终得到的阈值。但是，这种人工筛选方式过于依赖主观调试。另外，人工筛选方式的筛选效果也不理想。

下面结合图7至图10，对人工筛选方式的筛选效果进行示例说明。

示例性地，图7和图8示出了对一种ACC特征进行手动筛选的示意图。

假设横轴用于表示数据特征的编号，纵轴用于表示数据特征的取值，虚线框a包围多个指关节特征点(即ACC特征点)，虚线框b包围多个非指关节特征点。其中，指关节特征点和非指关节特征点的取值分布较为接近。

如图7所示，如果将预设阈值设置为阈值1，且筛选规则为筛选掉小于阈值1的特征点，那么电子设备将筛选掉小于阈值1的少量非指关节特征点，但是，此时会剩余大量的非指关节特征点，使得大量无效的非指关节特征点被输入分类模型，导致最终获得的分类结果不准确。

如图8所示，如果将预设阈值设置为阈值2，阈值2大于阈值1，且筛选规则为筛选掉小于阈值2的特征点，那么电子设备将筛选掉小于阈值2的大量非指关节特征点，但是同时会筛选掉小于阈值2的绝大多数指关节特征点，使得大部分有效的指关节特征被滤除，导致分分类模型无法根据足够的有效数据进行准确分类。

示例性地，图9和图10示出了对另一种ACC特征进行手动筛选的示意图。

假设横轴用于表示数据特征的编号，纵轴用于表示数据特征的取值，虚线框c多个指关节特征点(即ACC特征点)，虚线框d包围多个非指关节特征点。其中，指关节特征点和非指关节特征点的取值分布存在部分重叠。

如图9所示，如果将预设阈值设置为阈值3，且筛选规则为筛选掉小于阈值3的特征点，那么电子设备将筛选掉小于阈值3的少量非指关节特征点，但是，此时会剩余大量的非指关节特征点，使得大量无效的非指关节特征点被输入分类模型，导致最终获得的分类结果不准确。

如图10所示，如果将预设阈值设置为阈值4，阈值4大于阈值3，且筛选规则为筛选掉小于阈值4的特征点，那么电子设备将筛选掉小于阈值4的大量非指关节特征点，但是同时会筛选掉小于阈值4的一部分指关节特征点，使得一部分有效的指关节特征点被滤除，导致分类模型无法根据足够的有效数据进行准确分类。

根据上述实施例的描述可以看出，一方面，人工筛选方式过于依赖主观调试，需要花费大量时间进行阈值的测试，增加了工作复杂度。另一方面，当指关节特征点和非指关节特征点的取值分布较为接近或存在部分重叠时，即便调整阈值，也难以滤除大部分非指关节特征点，剩余大部分指关节特征点，使得最终获得的分类结果不准确。

为了解决上述两种算法存在的问题，本申请实施例对这两种算法进行了改进，提供了一种新的指关节操作的识别方法。该方法取消了上述两种算法中手动设置的预设阈值，采用ACC二分类模型对ACC特征进行分类，即，采用机器筛选方式代替人工筛选方式。另外，该方法增加了一个CAP二分类模型，用于从CAP信号中提取score特征。此外，该方法还对score特征、ACC特征和触摸特征进行了特征融合，用于预测最终的分类结果。

需要说明的是，本申请实施例提供的指关节操作的识别方法可以适用于各种电子设备。

其中，电子设备可以为手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)、虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra mobile personal computer，UMPC)、上网本、个人数字助理(personaldigital assistant，PDA)或智慧屏等，或者可以为其他设置有触控屏的设备或装置。对于电子设备的具体类型，本申请实施例不作任何限制。

为了更清楚地示意改进后的指关节操作的识别方法，下面将从两个部分展开说明。

第一部分，对本申请实施例提供的新的指关节操作的识别方法的原理进行说明。

通常，根据大多数用户的操作习惯，会将加速度计设置在触控屏的左上角。当用户指关节触碰或敲击触控屏的不同触控区域时，加速度计的受力方式不同，加速度计将采集到不同的ACC数据。示例性地，图11至图18示出了指关节作用于不同的触控区域的四种场景。

场景1：

图11示出了食指的指关节敲击屏幕的左上部的正视图。图12示出了食指的指关节敲击屏幕的左上部的斜视图。假设X轴为触控屏所在平面的水平方向，Y轴为触控屏所在平面的竖直方向，Z轴为贯穿触控屏的垂直方向。如图11和图12所示，当食指的指关节敲击屏幕的左上部时，位于触控屏左上部的加速度计将获得一个向Z轴的负方向的机械力F1。

场景2：

图13示出了食指的指关节敲击屏幕的右上部的正视图。图14示出了食指的指关节敲击屏幕的右上部的斜视图。假设X轴为触控屏所在平面的水平方向，Y轴为触控屏所在平面的竖直方向，Z轴为贯穿触控屏的垂直方向。如图13和图14所示，当食指的指关节敲击屏幕的右上部时，位于触控屏左上部的加速度计将获得一个向Z轴的负方向的机械力F2。

场景3：

图15示出了食指的指关节敲击屏幕的左下部的正视图。图16示出了食指的指关节敲击屏幕的左下部的斜视图。假设X轴为触控屏所在平面的水平方向，Y轴为触控屏所在平面的竖直方向，Z轴为贯穿触控屏的垂直方向。如图15和图16所示，当食指的指关节敲击屏幕的左下部时，位于触控屏左上部的加速度计将获得一个向Z轴的负方向的机械力F3。

场景4：

图17示出了食指的指关节敲击屏幕的右下部的正视图。图18示出了食指的指关节敲击屏幕的右下部的斜视图。假设X轴为触控屏所在平面的水平方向，Y轴为触控屏所在平面的竖直方向，Z轴为贯穿触控屏的垂直方向。如图17和图18所示，当食指的指关节敲击屏幕的右下部时，位于触控屏左上部的加速度计将获得一个向Z轴的正方向的机械力F4。

根据上述四种场景的描述可以看出，无论指关节作用于触控屏的哪个触控区域，加速度计主要在Z轴方向受到机械力的影响。

以ACC数据用于表征ACC信号的在Z轴方向的加速度为例，图19和图20示出了两种ACC信号的变化趋势的示意图。其中，横轴用于表示时间，纵轴用于表示ACC数据的取值。

如图19所示，在指关节作用于触控屏之前，从与第0帧数据对应的时刻到与第108帧数据对应的时刻之间，ACC数据的取值基本保持在2500。在指关节作用于触控屏的上部区域或左部区域之后，如左上部区域，右上部区域或左下部区域，从与第108帧数据对应的时刻到与第128帧数据对应的时刻，ACC数据的取值将出现一次明显下降的过程。

如图20所示，在指关节作用于触控屏之前，从与第0帧数据对应的时刻到与第114帧数据对应的时刻之间，ACC数据的取值基本保持在3000。在指关节作用于触控屏的右下部区域之后，从与第114帧数据对应的时刻到与第128帧数据对应的时刻，ACC数据的取值将出现一次明显上升的过程。

结合上述实施例的描述，当指关节作用于触控屏的不同触控区域时，ACC数据可能会呈现出不同的变化趋势。因此，本申请实施例提出了从触碰信号中提取触摸特征用来判断接触面积和接触位置，从ACC信号中提取ACC特征用来判断触摸屏幕的力度。另外，前置一个CAP二分类模型，从CAP信号中提取用于表征与指关节之间的相关性的score特征。最终将ACC特征、score特征和触摸特征进行特征融合，以获取更好的分类效果。

第二部分，对本申请实施例提供的改进后的指关节操作的识别方法的流程进行详细说明。

图21为本申请实施例提供的一种改进后的指关节操作的识别方法的流程示意图。该方法可以应用于识别指关节交互方式的场景中。该方法的执行主体可以为电子设备，或电子设备中的功能模块。该电子设备的屏幕为触控屏，触控屏上设置有ACC传感器和CAP传感器。

如图21所示，该方法可以包括下述的S1至S9。

S1.接收作用于触控屏的触控操作。

当用户的手掌、指腹、指尖、指甲、侧甲和指关节等身体部位作用于触控屏时，电子设备的传感器将检测到触控操作。由于该触控操作可能为指关节操作，也可能为非指关节操作，因此电子设备可以采用下述S2至S9判断是否为指关节操作，以执行对应的响应操作。

S2.响应于触控操作，获取ACC信号、CAP信号和触碰信号。

电子设备的传感器可以周期性采集数据。当电子设备接收到作用于触控屏的触控操作时，电子设备可以响应于触控操作，获取到通过ACC传感器采集的ACC信号，通过CAP传感器采集CAP信号，以及对CAP信号进行处理后得到的触碰信号。

其中，ACC信号为通过ACC传感器采集的原始信号，可以用于表征在机械力的作用下，电子设备的运动/静止状态。CAP信号为通过CAP传感器采集的原始信号，该原始信号携带了电容节点的电容信息。触碰信号为对CAP信号进行处理后得到的信号，可以用于表征用户身体部位与触控屏接触时的触摸特征。

对于这三种信号，可以参照上述实施例的具体描述，此处不再赘述。

需要说明的是，ACC信号、CAP信号和触碰信号可以为时域信号，也可以为频域信号。

S3.从ACC信号中提取ACC特征。

其中，ACC特征为ACC信号中与指关节的触控操作关联的特征，可以用来判断身体部位作用于触控屏的力度。

在本申请实施例中，电子设备可以采用预设的特征提取算法，从ACC信号中提取ACC特征。比如，特征提取算法可以为基于互信息的方法、基于最大相关-最小冗余的方法以及基于包装法(Wrapper)的特征选择方法等。

示例性地，ACC特征可以包括以下至少一项：最大一阶差分(maxgradient)特征，信号振幅(amplitude)特征，前段过零数(zerocrosscnt)特征，最大高通值(maxhighpass)特征，均值域绝对值之和(meanaddmax)特征，前段归一化值方差(accnormsquare)特征，前段归一化值振幅(accnormsquare)特征，快速傅立叶变换均值(fast fourier transformfftmean，fftmean)特征，部分快速傅立叶变换均值(part fftmean，partfftmean)特征。应理解，ACC特征还可能包括其他特征，本申请实施例不作限定。

S4.将ACC特征输入ACC二分类模型。

ACC二分类模型根据提取的ACC特征进行二分类，获取两种分类结果：

一种分类结果是：作用于触控屏的触控操作为指关节的触控操作。

另一种分类结果是：作用于触控屏的触控操作为非指关节的触控操作。

若ACC二分类模型的输出结果是：作用于触控屏的触控操作为指关节的触控操作，则执行下述S5。

若ACC二分类模型的输出结果是：作用于触控屏的触控操作为非指关节的触控操作，则不作任何处理，或执行与非指关节的触控操作对应的响应功能。

S5.将CAP信号输入CAP二分类模型，得到score特征。

其中，score特征可以用于表示CAP信号与指关节操作的关联程度，即，score特征为CAP信号中与指关节操作关联的特征。

作为通过CAP传感器采集的原始信号，CAP信号携带了电容节点的电容信息。结合上述实施例的描述，当身体部位与触控屏接触时，将引起电容节点的电容值变化。应理解，当用户采用不同的身体部位与触控屏接触时，不同手势将接触到不同的电容节点，引起的电容值变化也将有所差异。

示例性地，图22示出了一组指关节、指尖和指腹分别对应的7*7节点矩阵的示意图。如图22所示，位于每个7*7节点矩阵的最大电容节点的电容值均不相同，在每个最大电容节点周围分布的电容节点的电容值也有所差异。在将CAP信号输入CAP二分类模型后，CAP二分类模型根据CAP信号携带的电容节点的电容信息，将输出获取score得分，即score特征。应理解，如果是指关节的7*7节点矩阵，那么score得分将较高；如果是指尖或指腹的7*7节点矩阵，那么score得分将较低。

表1提供了一种交互方式与score得分的对应关系表。如表1所示，在将CAP信号输入CAP二分类模型后，CAP二分类模型输出结果为：作用于触控屏的触控操作为指关节的触控操作的score得分是0.92，作用于触控屏的触控操作为非指关节的触控操作的score得分是0.08。应理解，作用于触控屏的触控操作为指关节的触控操作的score得分越高，根据score得分等进行特征融合后，最终得到的分类结果为指关节的触控操作的可能性越高。相反，作用于触控屏的触控操作为指关节的触控操作的score得分越低，根据score得分等进行特征融合后，最终得到的分类结果为指关节的触控操作的可能性越低。

表1

交互方式	score得分
		指关节	0.92
非指关节	0.08

S6.从触碰信号中提取触摸特征。其中，触摸特征可以用来表征身体部位接触触控屏时的接触面积和接触位置。应理解，不同手势对应的触摸特征将有所差异。

电子设备可以采用预设的特征提取算法，从触碰信号中提取触摸特征。触摸特征可以用于表示触碰信号与指关节操作的关联程度，即，触摸特征为触碰信号中与指关节操作关联的特征。比如，触摸特征可以包括接触位置(location)特征和/或接触面积(pressure)特征。其中，接触位置特征可以用于表示身体部位在触控屏上的交互位置，接触面积特征可以用于表示身体部位与触控屏接触的面积。

需要说明的是，与前两种算法直接对触碰信号进行阈值过滤有所不同，本申请在改进后的指关节操作的识别方法中提出了从触碰信号中提取触控特征的概念。

在传统方式中，电子设备通常会采用X轴坐标和Y轴坐标表示触碰点在触控屏中的详细位置，但是，这种采用坐标表示触碰位置的方式存在计算量大和易泄漏用户隐私的问题。为了解决此类问题，本申请实施例新提出了一个新的概念-坐标网格编号，用于表示触碰点在触控屏中的大致位置。

相应地，上述位置特征可以为网格特征，该网格特征用于表示触碰点的坐标网格编号。

具体地，电子设备可以根据触控屏的分辨率，将触控屏划分为一个p行、q列的网格列表，网格列表中的每个网格采用一个坐标网格编号表示。每个网格的长度等于触控屏的纵轴的像素点数除以p，每个网格的宽度等于触控屏的横轴的像素点数除以q。比如，若手机的屏幕分辨率为1600×1200像素，则屏幕被划分为一个4×3的网格列表。再比如，若手机的屏幕分辨率为1920×1080像素，则屏幕被划分为一个6×4的网格列表。p和q为正整数。

结合上述实施例对图2的描述，由于横向电极和纵向电极相互垂直于触控屏的显示器上，因此，每个坐标网格编号指示的网格将覆盖若干电极交汇点。当指关节引起某些触摸点附近两个电极之间的耦合时，电容节点的电容值发生变化，从而从触碰信号中可以获取X轴坐标和Y轴坐标，进而确定触碰点的坐标网格编号，即确定了触碰点在触控屏中的大致位置。

示例性地，图23为本申请实施例提供的一种网格列表的示意图。如图23所示，触控屏被划分为一个7行、4列的网格列表，且每个网格采用一个坐标网格编号表示。比如，从触控屏顶部开始，第一行网格从左到右依次的坐标网格编号为00、01、02、03，第二行网格从左到右依次的坐标网格编号为10、11、12、13，第三行网格从左到右依次的坐标网格编号为20、21、22、23……第七行网格从左到右依次的坐标网格编号为60、61、62、63。当指关节敲击坐标网格编号21对应的区域时，电子设备先获取CAP信号，CAP信号包含如局部放大图所示的7*7节点矩阵中各个电容节点的电容值；然后对CAP信号进行处理，得到触碰信号；之后根据触碰信号的X轴坐标和Y轴坐标，从触碰信号中提取网格特征，该网格特征用于表示触碰点的坐标网格编号21，即，确定了触碰点在触控屏中的大致位置是坐标网格编号21所指示的区域。

需要说明的是，上述图23是以触碰点在触控屏中的大致位置是一个网格为例进行说明的，其并不对本申请实施例形成限定。在实际实现时，触碰点在触控屏中可能会跨越多个网格。此时，网格特征可以用于表示多个网格的坐标网格编号，或多个网格中的一个网格的坐标网格编号，该一个网格包含的触碰点的数量多于其他网格包含的触碰点的数量。

另外，本申请实施例对S3、S4、S5和S6的执行顺序不作限定。

在第一种实现方式中，电子设备可以一边从ACC信号中提取ACC特征，一边从触碰信号中提取触摸特征，之后根据ACC二分类模型的输出结果，确定是否将CAP信号输入CAP二分类模型，以对提取的多种特征进行特征融合，即先执行S3和S6，再执行S4和S5。

在第二种实现方式中，电子设备可以先从ACC信号中提取ACC特征，之后若ACC二分类模型的输出结果指示作用于触控屏的触控操作为指关节的触控操作，则将CAP信号输入CAP二分类模型，并从触碰信号中提取触摸特征，以对提取的多种特征进行特征融合，即先执行S3和S4，再执行S5和S6。

应理解，与第一种实现方式相比，在第二种实现方式中，在ACC二分类模型的输出结果指示作用于触控屏的触控操作为非指关节的触控操作的情况下，无需从触碰信号中提取触摸特征，针对这种情形，可以在一定程度上降低电子设备的计算量。

S7.对提取到的ACC特征、score特征和触摸特征进行特征融合。

在提取到ACC特征、score特征和触摸特征后，电子设备可以采用预设特征融合算法，对这些特征进行拼接。比如，预设特征融合算法可以是早融合算法(early fusion)和晚融合(late fusion)算法等。

示例性地，如图24所示，电子设备可以包含一个特征融合模块。假设电子设备从触碰信号中提取了接触位置特征和接触面积特征，从ACC信号中提取了最大一阶差分(maxgradient)特征，信号振幅(amplitude)特征，前段过零数(zerocrosscnt)特征，最大高通值(maxhighpass)特征，均值域绝对值之和(meanaddmax)特征，前段归一化值方差(accnormsquare)特征，前段归一化值振幅(accnormsquare)特征，快速傅立叶变换均值(fast fourier transformfft mean，fftmean)特征和部分快速傅立叶变换均值(partfftmean，partfftmean)特征，从CAP信号中提取了score特征。特征融合模块可以对这12个特征进行特征融合，得到融合后的特征。

S8.将融合后的特征输入指关节分类模型。

指关节分类模型根据融合后的特征，预测是否为指关节交互方式。

本申请实施例提供的改进后的指关节操作的识别方法涉及到了三种二分类模型：ACC二分类模型、CAP二分类模型和指关节分类模型。这三种模型二分类可以为传统机器学习模型或神经网络模型。

在一些实施例中，由于从CAP信号中提取score特征类似单通道图像，因此CAP二分类模型可以为卷积神经网络(convolutional neural networks，CNN)模型。CNN是一种人工神经网络。

示例性地，CAP二分类模型可以如图25所示，CNN的结构分为3层：卷积层(convolutional layer)，主要作用是提取CAP特征；池化层(max pooling layer)，主要作用是下采样(down sampling)，却不会损坏识别结果；全连接层(fully connected layer)，主要作用是分类，以确定触控操作为指关节操作还是非指关节操作。

在一些实施例中，以从ACC信号中提取了9个ACC特征，从触碰信号中提取了2个触摸特征为例，由于ACC二分类模型仅需要对9个特征进行处理，指关节分类模型仅需要对12个特征进行处理，计算量较低，因此，ACC二分类模型和指关节分类模型可以采用全连接神经网络(fully connected neural network，DNN)模型。DNN网络模型是一种多层感知机。感知机的原理是寻找类别间最合理、最具有鲁棒性的超平面，最具代表性的感知机是支持向量机(support vector machine，SVM)算法。

示例性地，ACC二分类模型可以如图26所示，指关节分类模型可以如图27所示。这两个DNN模型均包括输入层、隐藏层和输出层。其中，隐藏层的数量可以为多个，应理解，增加隐藏层的数量可以更好地分离数据的特征，但是过多的隐藏层也会增加训练时间以及产生过拟合。如图26和图27所示，在ACC二分类模型的输入层中输入了9个ACC特征，在指关节分类模型的输入层中输入了9个ACC特征、1个score特征、2个触摸特征(网格特征和接触面积特征)。

需要说明的是，对于ACC二分类模型、CAP二分类模型和指关节分类模型的训练过程可以参照现有技术，此处不予赘述。

S9.获取指关节分类模型的分类结果。

指关节分类模型根据融合后的特征进行二分类，获取两种分类结果：

一种分类结果是作用于触控屏的触控操作为指关节的触控操作，即，指关节分类模型识别到的手势交互方式具体为指关节交互方式。

另一种分类结果是作用于触控屏的触控操作为非指关节的触控操作，即，指关节分类模型识别到的手势交互方式具体为非指关节交互方式。

若指关节分类模型的输出结果指示作用于触控屏的触控操作为指关节的触控操作，则电子设备可以执行与指关节的触控操作对应的响应功能。

若指关节分类模型的输出结果指示作用于触控屏的触控操作为非指关节的触控操作，则电子设备可以不作任何处理，或执行与非指关节的触控操作对应的响应功能。

在一些实施例中，电子设备可以设置多种类型的指关节手势。在识别出指关节交互方式之后，电子设备可以根据指关节与触控屏的触碰位置，指关节与触控屏的触碰时间，以及指关节在触控屏的滑动距离等参数，确定指关节交互方式具体属于哪种类型的指关节手势，并执行与指关节手势对应的响应功能。

示例性地，指关节手势包括以下至少一种：指关节双击手势，指关节敲击并画圈手势，指关节敲击并画字母S手势，三个指关节沿着屏幕由上向下滑动手势，双指关节双击手势，指关节敲击并在屏幕中间画直线手势。

相应地，指关节双击手势对应截取全屏功能，指关节敲击并画圈手势对应局部截屏功能，指关节敲击并画字母S手势对应滚动截屏功能，三个指关节沿着屏幕由上向下滑动手势对应滑动截屏功能，双指关节双击手势对应启动/停止录屏功能，指关节敲击并在屏幕中间画直线手势对应分屏功能。

本申请实施例提供的指关节操作的识别方法，取消了手动设置的阈值，采用ACC二分类模型对ACC特征进行分类，即，采用机器筛选方式代替人工筛选方式，从而提高了ACC特征筛选效率，并提升了筛选效果。另外，通过增加一个CAP二分类模型，可以从CAP信号中提取score特征，然后对score特征、ACC特征和触摸特征进行了特征融合，最终利用融合后的特征进行分类，可以获得更好的分类效果。

需要说明的是，本申请实施例在不同的实验场景下，分别采用原识别方法与改进后的识别方法对指关节操作和非指关节操作进行了识别。大量实验结果表明，改进后的识别方法对指关节操作的识别率高于原识别方法对指关节操作的识别率，改进后的识别方法对非指关节操作的误触率低于原识别方法对非指指关节的误触率。即，改进后的识别方法提高了指关节操作的识别率，并且降低了非指关节操作的误触率，获得了更好的分类效果。

图28是本申请实施例的电子设备的软件结构示意图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统的软件层从上至下依次划分为：应用层(application)、框架层(framework，FWK)、输入层(Input)、硬件抽象层(HAL)、驱动层等。

另外，图28还示出了与软件层连接的硬件层，硬件层可以包括微控制单元(microcontroller unit，MCU)、ACC传感器和CAP传感器等。

应用程序层可以包括一系列应用程序包，比如包括操作系统(operating system，OS)应用。OS应用可以通过调用系统应用程序接口(application programming interface，API)接口来触发指关节触摸操作对应相关的功能，指关节触摸操作对应的功能可通过OS应用进行自定义。另外，OS应用可以提供用户界面给用户，以便于用户在用户界面上自行定义指关节触摸操作对应的功能。

框架层为应用程序层的应用程序提供API和编程框架。应用程序框架层包括一些预先定义的函数。比如，框架层可以包括输入管理服务，用于接收和分发输入事件，对输入事件进行映射，对收集到的输入事件进行判断处理，将输入事件分发到上层。在本申请实施例中，输入管理服务可以对指腹、指尖、指甲、侧甲和指关节等手势进行管理，以执行对应的快捷处理动作。

输入层用于判断输入事件的类型，比如，输入层的手势处理模块可以调用硬件抽象层的手势识别模块，以判断输入事件的触控类型。

硬件抽象层是位于操作系统内核与硬件电路之间的接口层，其目的在于将硬件抽象化。它隐藏了特定平台的硬件接口细节，为操作系统提供虚拟硬件平台,使其具有硬件无关性，可在多种平台上进行移植。从软硬件测试的角度来看，软硬件的测试工作都可分别基于硬件抽象层来完成，使得软硬件测试工作的并行进行成为可能。

示例性地，ACC传感器采集ACC信号，并将ACC信号发送至MCU。CAP传感器采集CAP信号，并将CAP信号发送至MCU。MCU对CAP信号进行处理得到触碰信号，然后MCU将ACC信号、CAP信号和触碰信号，发送至硬件抽象层的手势识别模块。手势识别模块按照上述实施例S1至S9中的方法，对这些信号进行处理，以得到识别结果。如果手势识别结果为指关节交互方式，则手势识别模块依次通过手势处理模块、输入管理服务向OS应用上报指关节触控事件。之后，OS应用可以通过调用OS的API接口，触发指关节触摸操作对应相关的功能。

需要说明的是，上述触碰信号也可以是由软件层的功能模块，对CAP信号进行处理得到的，本申请实施例不作限定。

上述主要从电子设备的角度对本申请实施例提供的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行每一个功能相应的硬件结构或软件模块，或两者结合。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应每一个功能划分每一个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。下面以采用对应每一个功能划分每一个功能模块为例进行说明。

图29为本申请实施例提供的一种识别装置的结构示意图。如图29所示，该识别装置90可以包括获取模块91、特征提取模块92、特征融合模块93和分类模块94。

获取模块91，用于响应作用于触控屏的触控操作，获取ACC信号、CAP信号和触碰信号，ACC信号为通过ACC传感器采集的原始信号，CAP信号为通过CAP传感器采集的原始信号，触碰信号为对CAP信号进行处理后得到的信号。

特征提取模块92，用于提取ACC特征、score特征和触摸特征，ACC特征为ACC信号中与指关节操作关联的特征，score特征为CAP信号中与指关节操作关联的特征，触摸特征为触碰信号中与指关节操作关联的特征。

特征融合模块93，用于对ACC特征、score特征和触摸特征进行特征融合。

分类模块94，用于将融合后的特征输入指关节分类模型，得到指关节分类结果。指关节分类结果指示触控操作为指关节操作或非指关节操作。

在一些实施例中，特征提取模块92具体用于：从ACC信号中提取ACC特征。分类模块94还用于：将ACC特征输入ACC二分类模型，得到ACC分类结果；并在ACC分类结果指示触控操作为指关节操作的情况下，将CAP信号输入CAP二分类模型，得到score特征。特征提取模块92具体用于：在ACC分类结果指示触控操作为指关节操作的情况下，从触碰信号中提取触摸特征。

在一种可能的实现方式中，特征提取模块92具体用于：从ACC信号中提取ACC特征，并从触碰信号中提取触摸特征。分类模块94还用于：将ACC特征输入ACC二分类模型，得到ACC分类结果。特征提取模块92具体用于：在ACC分类结果指示触控操作为指关节操作的情况下，将CAP信号输入CAP二分类模型，得到score特征。

图30示出了本申请实施例提供的电子设备的硬件结构示意图。

如图30所示，电子设备可以包括：处理器110，外部存储器接口120，内部存储器121，USB接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中，传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，以及骨传导传感器180M等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括中央处理器(central processing unit，CPU)，图像信号处理器(image signal processor，ISP)，数字信号处理器(digital signal processor，DSP)，视频编解码器，神经网络处理器(neural-network processing unit，NPU)，图形处理器(graphics processing unit，GPU)，应用处理器(application processor，AP)，和/或调制解调处理器等。在一些实施例中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，CPU是信息处理、程序运行的最终执行单元，其主要工作包括处理指令、执行操作、控制时间和处理数据等。CPU可以包括控制器、运算器、高速缓冲存储器，以及用于连接这些部件的总线。控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。在本申请实施例中，NPU可以用于根据ACC信号和CAP信号，训练ACC二分类模型、CAP二分类模型和指关节分类模型。

加速度传感器180E用于检测电子设备100在各个方向上加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

在本申请实施例中，加速度传感器180E可以设置在触控屏的左上角。在指关节敲击触控屏时，加速度传感器180E可以采集ACC信号。

触摸传感器180K，设置于显示屏194，用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

在本申请实施例中，触摸传感器180K可以为CAP传感器。其中，CAP传感器可以互电容式触摸传感器或自电容式触摸传感器。利用触摸传感器180K被触摸时感应电容会发生变化的特性，通过原始数据检测各点的感应电容的变化，当某一点或多点的感应电容的变化量超过一定阈值时确定该点被触摸，从而实现对被触摸点的位置的检测。

需要说明的是，电子设备与导电性能好的物体或人体接触时，例如被用户手持时，电子设备对地电容较小；电子设备与导电性能不好的物体接触时，例如被放置在桌面等绝缘体上时，或者，电子设备通过可折叠保护皮套放置在桌面上时，电子设备对地电容较大。也就是说，当电子设备被用户手持时，电子设备处于接地场景；当电子设备被放置在桌面时，电子设备处于浮地状态。

本申请实施例还提供了一种电子设备，包括处理器，处理器与存储器耦合，处理器用于执行存储器中存储的计算机程序或指令，以使得电子设备实现上述各实施例中的方法。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令；当该计算机可读存储介质在电子设备上运行时，使得该电子设备执行如上所示的方法。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘或磁带)，光介质或者半导体介质(例如固态硬盘(solid statedisk，SSD))等。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行上述各实施例中的方法。

本申请实施例还提供了一种芯片，该芯片与存储器耦合，该芯片用于读取并执行存储器中存储的计算机程序或指令，以执行上述各实施例中的方法。该芯片可以为通用处理器，也可以为专用处理器。

需要说明的是，该芯片可以使用下述电路或者器件来实现：一个或多个现场可编程门阵列(field programmable gate array，FPGA)、可编程逻辑器件(programmablelogic device，PLD)、控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。

上述本申请实施例提供的电子设备、识别装置、计算机可读存储介质、计算机程序产品以及芯片均用于执行上文所提供的方法，因此，其所能达到的有益效果可参考上文所提供的方法对应的有益效果，在此不再赘述。

应理解，上述只是为了帮助本领域技术人员更好地理解本申请实施例，而非要限制本申请实施例的范围。本领域技术人员根据所给出的上述示例，显然可以进行各种等价的修改或变化，例如，上述检测方法的各个实施例中某些步骤可以是不必须的，或者可以新加入某些步骤等。或者上述任意两种或者任意多种实施例的组合。这样的修改、变化或者组合后的方案也落入本申请实施例的范围内。

还应理解，上文对本申请实施例的描述着重于强调各个实施例之间的不同之处，未提到的相同或相似之处可以互相参考，为了简洁，这里不再赘述。

还应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

还应理解，本申请实施例中，“预先设定”、“预先定义”可以通过在设备(例如，包括电子设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。

还应理解，本申请实施例中的方式、情况、类别以及实施例的划分仅是为了描述的方便，不应构成特别的限定，各种方式、类别、情况以及实施例中的特征在不矛盾的情况下可以相结合。

还应理解，在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

最后应说明的是：以上描述内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (17)

1.一种指关节操作的识别方法，其特征在于，所述方法包括：

响应作用于触控屏的触控操作，获取加速度信号、电容信号和触碰信号，所述加速度信号为通过加速度传感器采集的原始信号，所述电容信号为通过电容传感器采集的原始信号，所述触碰信号为对所述电容信号进行处理后得到的信号；

提取加速度特征、置信度特征和触摸特征，所述加速度特征为所述加速度信号中与指关节操作关联的特征，所述置信度特征为所述电容信号中与指关节操作关联的特征，所述触摸特征为所述触碰信号中与指关节操作关联的特征；

对所述加速度特征、所述置信度特征和所述触摸特征进行特征融合；

将融合后的特征输入指关节分类模型，得到目标分类结果，所述目标分类结果指示所述触控操作为指关节操作或非指关节操作。

2.根据权利要求1所述的方法，其特征在于，所述置信度特征为在所述加速度特征指示所述触控操作为指关节操作的情况下，从所述触碰信号中提取的特征。

3.根据权利要求2所述的方法，其特征在于，所述提取加速度特征、置信度特征和触摸特征，包括：

从所述加速度信号中提取所述加速度特征；

将所述加速度特征输入加速度二分类模型，得到初步分类结果；

在所述初步分类结果指示所述触控操作为指关节操作的情况下，将所述电容信号输入电容二分类模型，得到所述置信度特征，并从所述触碰信号中提取所述触摸特征。

4.根据权利要求2所述的方法，其特征在于，所述提取加速度特征、置信度特征和触摸特征，包括：

从所述加速度信号中提取所述加速度特征，并从所述触碰信号中提取所述触摸特征；

将所述加速度特征输入加速度二分类模型，得到初步分类结果；

在所述初步分类结果指示所述触控操作为指关节操作的情况下，将所述电容信号输入电容二分类模型，得到所述置信度特征。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述触摸特征包括接触位置特征和接触面积特征中的至少一项；

其中，所述接触位置特征用于表示身体部位在所述触控屏上的交互位置，所述接触面积特征用于表示身体部位与所述触控屏接触的面积。

6.根据权利要求5所述的方法，其特征在于，所述接触位置特征用于表示触碰点所在网格的坐标网格编号；

其中，所述触碰点所在网格为根据所述触控屏的分辨率，对触控屏划分得到的网格列表中的至少一个网格。

7.根据权利要求6所述的方法，其特征在于，所述网格列表包括p行和q列网格，所述网格列表中的每个网格的长度等于所述触控屏的纵轴的像素点数除以p，所述网格列表中的每个网格的宽度等于所述触控屏的横轴的像素点数除以q，p和q为正整数。

8.根据权利要求6或7所述的方法，其特征在于，所述触摸特征包括所述接触位置特征；

提取所述接触位置特征，包括：

根据所述触碰信号，确定所述触碰点的X轴坐标和Y轴坐标；

根据所述X轴坐标和Y轴坐标，确定表示所述触碰点所在网格的坐标网格编号的所述接触位置特征；

其中，所述X轴为所述触控屏所在平面的水平方向，所述Y轴为所述触控屏所在平面的竖直方向。

9.根据权利要求1至4中任一项所述的方法，其特征在于，所述加速度特征包括以下至少一项：最大一阶差分特征，信号振幅特征，前段过零数特征，最大高通值特征，均值域绝对值之和特征，前段归一化值方差特征，前段归一化值振幅特征，快速傅立叶变换均值特征，以及部分快速傅立叶变换均值特征。

10.根据权利要求1至4中任一项所述的方法，其特征在于，所述置信度特征为置信度得分，所述置信度得分用于表示所述电容信号与指关节操作的关联程度。

11.根据权利要求3或4所述的方法，其特征在于，所述电容二分类模型为卷积神经网络模型，所述加速度二分类模型为全连接神经网络模型。

12.根据权利要求1至4中任一项所述的方法，其特征在于，所述指关节分类模型为全连接神经网络模型。

13.根据权利要求1至12中任一项所述的方法，其特征在于，所述方法还包括：

在所述目标分类结果指示所述触控操作为指关节操作的情况下，确定所述触控操作属于的指关节手势，并执行与所述指关节手势对应的响应功能；

其中，不同的指关节手势对应不同的响应功能。

14.根据权利要求12所述的方法，其特征在于，所述指关节手势包括以下至少一项：指关节双击手势，指关节敲击并画圈手势，指关节敲击并画字母S手势，三个指关节沿着屏幕由上向下滑动手势，双指关节双击手势，指关节敲击并在屏幕中间画直线手势；其中，

与所述指关节双击手势对应的响应功能为截取全屏功能；

与所述指关节敲击并画圈手势对应的响应功能为局部截屏功能；

与所述指关节敲击并画字母S手势对应的响应功能为滚动截屏功能；

与所述三个指关节沿着屏幕由上向下滑动手势对应的响应功能为滑动截屏功能；

与所述双指关节双击手势对应的响应功能为启动/停止录屏功能；

与所述指关节敲击并在屏幕中间画直线手势对应的响应功能为分屏功能。

15.一种电子设备，其特征在于，包括处理器，所述处理器与存储器耦合，所述处理器用于执行所述存储器中存储的计算机程序或指令，以使得所述电子设备实现如权利要求1至14中任一项所述的指关节操作的识别方法。

16.一种芯片，其特征在于，所述芯片与存储器耦合，所述芯片用于读取并执行所述存储器中存储的计算机程序，以实现如权利要求1至14中任一项所述的指关节操作的识别方法。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1至14中任一项所述的指关节操作的识别方法。