CN116027953A

CN116027953A - 指关节触控操作的识别方法、电子设备及可读存储介质

Info

Publication number: CN116027953A
Application number: CN202210974068.4A
Authority: CN
Inventors: 付博
Original assignee: Honor Device Co Ltd
Current assignee: Honor Device Co Ltd
Priority date: 2022-08-15
Filing date: 2022-08-15
Publication date: 2023-04-28

Abstract

本申请公开了一种指关节触控操作的识别方法、电子设备及可读存储介质，属于终端技术领域。包括：响应于第一触控操作，显示引导界面，第一触控操作是请求采集用户的指关节触控数据的操作，引导界面中显示有用于引导用户进行指关节触控操作的引导信息。响应于用户在引导界面中基于引导信息执行的指关节触控操作，获取对应的指关节触控数据。基于指关节触控数据，对第一指关节模型的模型参数进行更新。由于使用该用户的指关节触控数据对第一指关节模型的模型参数进行更新，所以更新后的模型参数能够使得第一指关节模型准确地识别该用户的指关节触控操作。

Description

指关节触控操作的识别方法、电子设备及可读存储介质

技术领域

本申请涉及终端技术领域，特别涉及一种指关节触控操作的识别方法、电子设备及可读存储介质。

背景技术

目前，为了方便用户对诸如手机、平板电脑之类的电子设备的操作，电子设备提供了快捷截屏、快捷录屏等功能，用户可以利用指关节采用不同的触控方式触控电子设备的触控屏，使得电子设备执行不同的快捷操作。

为了能够实现上述功能，电子设备需要对作用在触控屏上的触控操作进行识别，以确定该触控操作是否为指关节触控操作。为此，电子设备在出厂前设置有预先训练的指关节模型，在应用过程中，电子设备可以基于触控操作的触控数据，通过该指关节模型进行识别，以确定触控操作是否是指关节触控操作。

然而，由于用户对触控屏的触控习惯不同，所以通过固定的指关节模型进行指关节触控操作识别可能会出现识别错误的问题，从而导致出现快捷操作失效或者误操作的现象。

发明内容

本申请提供了一种指关节触控操作的识别方法、电子设备及可读存储介质，可以解决相关技术中由于使用固定的指关节模型可能导致指关节触控操作识别有误，进而导致出现快捷操作失效或者误操作的问题。所述技术方案如下：

第一方面，提供了一种指关节触控操作的识别方法，应用于电子设备中，所述方法包括：

响应于第一触控操作，显示引导界面，所述第一触控操作是请求采集用户的指关节触控数据的操作，所述引导界面中显示有用于引导所述用户进行指关节触控操作的引导信息；

响应于所述用户在所述引导界面中基于所述引导信息执行的指关节触控操作，获取对应的指关节触控数据；

基于所述指关节触控数据，对第一指关节模型的模型参数进行更新，更新后的模型参数能够使得所述第一指关节模型基于所述用户的触控数据识别对应的触控操作是否为指关节触控操作。

如此，通过使用该用户的指关节触控数据对第一指关节模型的模型参数进行更新，也即该指关节触控数据符合该用户的指关节触控习惯，使得更新后的模型参数具有一定的针对性，所以，更新后的模型参数能够使得第一指关节模型准确地识别该用户的指关节触控操作。

作为本申请的一个示例，所述基于所述指关节触控数据，对第一指关节模型的模型参数进行更新，包括：

基于所述指关节触控数据和第一样本训练集，确定第一模型参数，所述第一模型参数是所述第一指关节模型的更新后的模型参数，所述第一样本训练集是用于确定未更新前的所述第一指关节模型的第二模型参数的样本训练集。

如此，基于所述指关节触控数据，结合第一样本训练集确定第一模型参数，可以提高模型训练的有效性。

作为本申请的一个示例，所述电子设备中包括第二指关节模型，所述第二指关节模型与所述第一指关节模型相同；

所述基于所述指关节触控数据和第一样本训练集，确定第一模型参数，包括：

将所述指关节触控数据和所述第一训练样本集，输入至所述第二指关节模型中进行训练；

在满足训练结束条件的情况下，将所述第二指关节模型当前的模型参数确定为所述第一模型参数。

如此，通过增加第二指关节模型进行更新训练，可以避免对第一指关节模型的正常使用造成影响。

作为本申请的一个示例，所述基于所述指关节触控数据和第一样本训练集，确定第一模型参数之后，还包括：

响应于灭屏后的亮屏触发操作，点亮所述电子设备的触控屏，并通过所述第一指关节模型加载所述第一模型参数；

响应于在所述触控屏上的第二触控操作，获取所述第二触控数据对应的触控数据；

将所述第二触控数据对应的触控数据输入至所述加载有所述第一模型参数的第一指关节模型中进行识别处理，输出触控类型指示信息，所述触控类型指示信息用于指示所述第二触控操作是指关节触控操作或者非指关节触控操作。

由于更新后的第一指关节模型的模型参数是基于该用户的指关节触控数据确定的，所以能够提高识别的准确性和有效性。

作为本申请的一个示例，响应于灭屏后的亮屏触发操作，点亮所述电子设备的触控屏，并通过所述第一指关节模型加载所述第一模型参数之前，还包括：

显示第一提示信息，所述第一提示信息用于提示所述用户灭屏后再次点亮屏幕；

接收所述用户基于所述第一提示信息进行的灭屏触发操作，熄灭所述触控屏。

如此，通过显示第一提示信息，使得用户进行灭屏并点亮的操作，从而使得第一指关节模型能够加载最新的模型参数，以保证后续使用的有效性。

作为本申请的一个示例，所述电子设备中包括第一算法动态库和第二算法动态库，所述第一算法动态库中存储有所述第一指关节模型，所述第二算法动态库中存储有所述第二指关节模型，所述第一指关节模型的识别处理操作通过所述第一算法动态库执行，所述第二指关节模型的训练操作通过所述第一算法动态库执行。

如此通过增加第二算法动态库单独做训练操作，可以避免更改第一算法动态库的实现逻辑，也避免影响第一算法动态库的功能。

作为本申请的一个示例，所述引导界面的数量为多个，且多个引导界面中不同引导界面的引导信息不同，不同引导信息用于指示所述用户采用不同的力度和/或不同的触控方式进行指关节触控操作。

通过显示多个引导界面，以引导用户采用不同的力度和/或不同的触控方式进行指关节触控操作，从而便于能够采集该用户的多种指关节触控数据，进而提高后续对模型训练的有效性。

作为本申请的一个示例，所述指关节触控数据包括所述指关节触控操作作用在所述电子设备的触控屏上时产生的加速度数值和所述触控屏的电容值。

如此，通过将加速度数值和电容值作为指关节触控数据，增加了数据的丰富性，从而可以提高模型训练和识别的有效性。

第二方面，提供了一种指关节触控操作的识别装置，所述指关节触控操作的识别装置具有实现上述第一方面中指关节触控操作的识别方法行为的功能。所述指关节触控操作的识别装置包括至少一个模块，所述至少一个模块用于实现上述第一方面所提供的指关节触控操作的识别方法。

第三方面，提供了一种电子设备，所述电子设备的结构中包括处理器和存储器，所述存储器用于存储支持电子设备执行上述第一方面所提供的方法的程序，以及存储用于实现上述第一方面所述的方法所涉及的数据。所述处理器被配置为用于执行所述存储器中存储的程序。所述电子设备还可以包括通信总线，所述通信总线用于在所述处理器与所述存储器之间建立连接。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。

第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。

上述第二方面、第三方面、第四方面和第五方面所获得的技术效果与上述第一方面中对应的技术手段获得的技术效果近似，在这里不再赘述。

附图说明

图1是本申请实施例提供的一种互电容式触控屏的IC电极排布示意图；

图2是本申请实施例提供的一种互电容式触控屏的工作原理的示意图；

图3是本申请实施例提供的一种电容值对应的节点矩阵的示意图；

图4是本申请实施例提供的一种开启指关节触控数据采集功能的操作流程示意图；

图5是本申请实施例提供的一种引导界面的显示流程示意图；

图6是本申请实施例提供的另一种引导界面的显示示意图；

图7是本申请实施例提供的另一种引导界面的显示示意图；

图8是本申请实施例提供的一种第一提示信息的显示示意图；

图9是本申请实施例提供的一种电子设备的软件架构示意图；

图10是本申请实施例提供的一种指关节触控操作的识别方法的流程示意图；

图11是本申请实施例提供的另一种指关节触控操作的识别方法的流程示意图；

图12是本申请实施例提供的另一种指关节触控操作的识别方法的流程示意图；

图13是本申请实施例提供的一种指关节触控操作的识别装置的结构示意图；

图14是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。

应当理解的是，本申请提及的“多个”是指两个或两个以上。在本申请的描述中，除非另有说明，“/”表示或的意思，比如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，比如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，为了便于清楚描述本申请的技术方案，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

在对本申请实施例提供的方法进行详细介绍之前，先对本申请实施例涉及的名词或者术语进行解释。

触控屏(touch panel，TP)：又可称为触摸屏，是一种可接收触控笔和手指等输入的信号的感应式液晶显示装置。通常，触控屏包括触摸检测部件和触控屏控制器。触摸检测部件安装在液晶显示装置上层，用于检测用户的触摸位置等触摸信息，并将检测到的触摸信息传送至触控屏控制器。触控屏控制器用于对触摸信息进行处理后，将相应信号发送到处理器。然后，处理器对信号进行处理后，执行对应的响应动作，例如截屏、录屏、或切换窗口等。

触摸检测部件通常包括多种类型的传感器，譬如，加速度(acceleration，ACC)传感器、电容(capacitor，CAP)传感器、压电弯曲元件、压电薄膜、电位计、可变磁阻传感器、压电式传感器、压阻式传感器、伺服传感器、位移传感器、速度传感器、振动传感器、微机电系统(micro-electro-mechanical system，MEMS)传感器、陀螺仪、接近传感器、电传声器、水听器、电容传声器、驻极体电容传声器、动态传声器、带式传声器、碳粒传声器、压电传声器、光纤传声器、激光传声器及液体传声器等。

在用户的指关节、手掌、指腹、指尖、指甲等身体部位作用于触控屏的情况下，发生触控事件，此时，不同的传感器会采集到不同的触控数据。

譬如以ACC传感器为例，当触控屏的表面在用户施加的机械力的作用下产生机械振动时，ACC传感器可以采集到加速度数值，该加速度数值可以用于衡量用户施加在触控屏上的机械力的大小，也即可以用于衡量用户在触控屏上进行的触控操作的力度。

再如，以CAP传感器为例。CAP传感器可以为一种采集CAP信号的集成电路(integrated circuit，IC)芯片。IC芯片可以由IC电极组成。示例性地，图1示出了一种互电容式触控屏的IC电极排布示意图。互电容式触控屏在两层氧化铟锡(indium-tin-oxide，ITO)导电玻璃图层上，蚀刻出不同的ITO导电线路模块。两层导电线路模块相互垂直于触控屏的显示器上，形成横向电极和纵向电极。横向电极和纵向电极可视为在X轴和Y轴方向连续变化的滑条。由于横向电极和纵向电极位于不同表面，两组电极交叉的地方将会形成一个电容节点。一个滑条可视为驱动线，另一个滑条可视为侦测线。当电流经过驱动线中的一条导线时，如果外界有电容变化，那么将会引起另一层导线上电容节点的变化。

请参考图2，图2是根据一示例性实施例示出了一种互电容式触控屏的工作原理的示意图。互电容式触控屏的控制器周期性地在横向电极依次发出激励信号，也称为驱动信号。然后，纵向电极获取响应信号，从而可以得到所有横向电极和纵向电极交汇点的电容值，即，得到整个互电容式触控屏的二维平面的电容值。当手指触摸到互电容式触控屏时，引起触摸点附近两个电极之间的耦合，相当于为两个电极引入新电容，从而改变了纵向电极测量的电荷大小，使得两个电极之间的电容值发生变化。

在一个示例中，响应信号即为CAP信号，也就是说，根据CAP信号可以确定所有电容节点的电容值。在另一个示例中，由于互电容式触控屏通常包括大量的电容节点，当手指触摸到互电容式触控屏时，仅会改变触摸点附近的电容节点的电容值，因此IC芯片可以根据触摸点，从响应信号中提取CAP信号。CAP信号用于指示一个节点矩阵中各个电容节点的电容值。其中，该节点矩阵可以是由m行、n列电容节点组成。例如，节点矩阵的中心节点的电容值在响应信号指示的所有电容节点的电容值中最大，即，最大电容值对应的电容节点是节点矩阵的中心节点，节点矩阵相当于以中心节点为中心划定的一个包含多个电容节点的触控区域。

需要说明的是，m和n的具体取值可以根据识别方式、触控屏的电容节点数量等进行设置，本申请实施例不作限定。m和n为正整数。

示例性地，图3示出了一种CAP信号对应的节点矩阵的示意图。当用户使用食指的指关节触碰触控屏时，IC芯片采集到CAP信号。CAP信号包含了7*7节点矩阵中各个电容节点的电容值。7*7节点矩阵的中心节点的电容值为1771。中心节点的电容值1771在触摸屏所有电容节点的电容值最大。

至此，介绍了两种数据：加速度数值和触控屏的电容值。根据上述实施例分析可知，在用户使用指关节对触控屏进行触控操作时，根据用户触控的力度和触控方式不同，指关节触控数据也相应的有所差异。因此，对于不同用户来说，在使用指关节进行快捷操作(譬如截屏)时可能对触控屏的触控习惯不同，从而使得指关节触控数据不同，如此以来，如果所有的电子设备都基于指关节触控数据，通过统一的指关节模型进行指关节触控识别，则可能因测试使用的第一样本数据集覆盖不全所有类型，从而导致识别错误，进而使得出现快捷操作失效或者误操作的现象。为此，本申请实施例提供了一种方法，在该方法中，电子设备引导用户根据自己的触控习惯对触控屏进行指关节触控操作，从而采集该用户对应的指关节触控数据，并利用该指关节触控数据对第一指关节模型进行更新训练，从而使得更新后的第一指关节模型具有一定的针对性，提高指关节触控操作识别的准确性。

接下来对电子设备引导用户进行指关节触控操作的可能的时机进行举例说明。在一个示例中，电子设备中的指关节快捷功能可以默认处于关闭状态，其中指关节快捷功能是指用户使用指关节对触控屏执行触控操作后电子设备执行对应的快捷操作，譬如在用户使用食指指关节双击屏幕的情况下电子设备执行截屏操作等。请参考图4中的(a)图，当用户想要开启指关节快捷功能时，可以触发电子设备中提供的“设置”选项，响应于用户对“设置”选项的触发操作，电子设备显示设置界面，如图4中的(b)图所示。设置界面中包括“辅助功能”选项41，用户可以触发“辅助功能”选项41，响应于用户对“辅助功能”选项41的触发操作，电子设备显示辅助功能界面，如图4中的(c)图所示。辅助功能界面中包括“快捷启动及手势”选项42，用户可以触发该“快捷启动及手势”选项42，响应于用户对“快捷启动及手势”选项42的触发操作，电子设备显示快捷设置界面，如图4中的(d)图所示。作为本申请的一个示例，快捷设置界面中提供至少一个与指关节相关的快捷功能选项，譬如请参考图4中的(d)图，该至少一个快捷功能选项包括截屏功能选项、录屏功能选项。作为示例而非限定，在用户在购机后初次触发与指关节相关的任意的快捷功能选项的情况下，电子设备可以显示引导界面，该引导界面中显示有用于引导用户进行指关节触控操作的引导信息，使得用户在触控屏上根据引导信息进行指关节触控操作，以便于采集用户的指关节触控数据。

作为本申请的一个示例，引导信息可以包括引导文字和多个引导图标，引导文字用于指示用户使用哪个指关节采用何种力度、何种触控方式对触控屏进行触控操作，多个引导图标用于指示用户触控操作的位置。

在一个示例中，请参考图5中的(a)图，当用户触发截屏功能选项时，电子设备显示引导界面，如图5中的(b)图所示，该引导界面中包括引导文字“手持食指指关节垂直重敲”，另外，引导界面中还包括多个引导图标，如此，用户即可根据引导信息使用手指的指关节垂直依次重敲该引导界面中的各个引导图标。为了使得用户可以直观获知哪个或哪些引导图标已被触控或未被触控，在未被触控的情况下，各个引导图标显示为未进入各自所在的洞中，对于任意一个引导图标，在被触控的情况下，该引导图标的身体部分显示为已进入洞中，仅露出头像部分，如图5中的(c)图所示，该引导图标51是被触控后的显示效果，其他的引导图标是未被触控的情况下的显示效果。

在一个示例中，该引导界面中还包括进度指示信息，譬如如图5中的(b)图中的52所示，该进度指示信息用于指示在该引导界面中用户对引导图标的触控进度。该进度指示信息可以采用数值表示，譬如请参考图5中的(c)图，在多个引导图标中的一个引导图标被触控的情况下，进度指示信息中的数值由0变更为20。当然，该进度指示信息还可以采用进度条表示，本申请实施例对此不作限定。

在一个示例中，该引导界面中还可以包括“重测”选项，如图5中的(b)图中的53所示，如此，当用户在引导界面的触控操作不正确，譬如未用食指的指关节触控操作时，可以触发该“重测”选项。响应于用户对该“重测”选项的触发操作，电子设备恢复各个引导图标的初始状态，如此，用户即可在该引导界面中重新进行指关节触控操作。

作为本申请的一个示例，为了能够采集用户在不同方式的指关节触控操作下的指关节触控数据，电子设备可以提供多个引导界面。譬如在检测到用户对上述引导界面(此时可称为第一个引导界面)中完成指关节触控操作后，可以显示下一个引导界面(下文可称为第二个引导界面)，其中不同引导界面中的引导信息不相同，以用于引导用户使用指关节，采用不同的力度和/或触控方式进行指关节触控操作，从而便于能够采集丰富、较为全面的指关节触控数据。

示例性地，请参考图6中的(a)图，该图是第一个引导界面，在用户使用食指的指关节触控第一个引导界面中最后一个未被触控的引导图标后，电子设备显示第二个引导界面，第二个引导界面如图6中的(b)图所示。不难看出，第二个引导界面中显示的引导信息与图6中的(a)图所示的引导信息不同，其中的引导文字变更为“手持食指指关节垂直轻敲”，第二个引导界面中的多个引导图标的位置也发生了变化。如此，用户即可根据该引导信息，使用食指的指关节垂直轻敲所显示的各个引导图标。

作为本申请的一个示例，请参考图7中的(a)图，用户在触控第二个引导界面中最后一个未被触控的引导图标后，电子设备还可以显示第三个引导界面，如图7中的(b)图所示。第三个引导界面中包括的引导文字为“手持食指指关节斜敲”，且第三个引导界面中包括多个引导图标，如此，用户即可在第三个引导界面中使用食指的指关节斜敲所显示的各个引导图标。

需要说明的是，本申请实施例仅是以电子设备显示3个引导界面为例进行说明，在另一实施例中，还可能包括更多的引导界面，且引导界面中的引导信息均不重复。此外，上述仅是以引导用户使用食指的指关节进行触控操作为例，在另一实施例中，还可以引导用户使用其他手指的指关节进行触控操作，譬如还可以引导用户使用中指的指关节，采用不同的力度和/或触控方式进行触控，本申请实施例对此不作限定。

需要说明的是，各个引导界面中的引导图标的位置可以是随机设置的，或者也可以是预先设定好的，本申请实施例对此不作限定。

另外还需要说明的是，上述引导界面中的引导图标的数量也是示例性的，在另一实施例中，各个引导界面中还可以包括更多个引导图标，本申请实施例对引导界面中包括的引导图标的数量不作具体限定。

对于电子设备来说，响应于用户在触控屏的指关节触控操作，获取对应的指关节触控数据。之后，可以利用指关节触控数据，对电子设备中预存的第一指关节模型的模型参数进行更新，其具体实现可以参见下文各个实施例。

作为本申请的一个示例，请参考图8中的(a)图，用户在触控最后一个显示的引导界面后的最后一个未触发的引导图标后，电子设备可以显示第一提示信息，以指示用户灭屏后重新点亮屏幕，从而使得第一指关节模型能够加载更新后的模型参数。示例性地，请参考图8中的(b)图，第一提示信息可以为“请关闭屏幕后重新打开屏幕”用户可以根据第一提示信息进行对应的操作，譬如用户可以先触发开机键使得电子设备关闭屏幕，当用户再次触发开机键时，电子设备重新点亮屏幕。

在一个示例中，请参考图8中的(b)图，电子设备还可以在显示第一提示信息的同时提供“确定”选项，用户点击“确定”选项后，电子设备关闭屏幕，之后，用户触发开机键，相应地，电子设备重新点亮屏幕。

为了便于理解，接下来对上述电子设备的软件系统予以说明。电子设备可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的安卓(Android)系统为例，对电子设备的软件系统进行示例性说明。图9是本申请实施例提供的一种电子设备的软件系统的框图。参见图9，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，从上至下可以将Android系统的软件架构至少分为应用程序层，应用程序框架层以及内核层。此外，图9中还示出了与软件层连接的硬件层，硬件层至少包括触控屏，触控屏包括加速度传感器和电容传感器。

应用程序层可以包括但不限于截屏模块、录屏模块、区域截屏模块、长截屏模块等功能模块，另外还包括指关节管理模块以及一些应用程序包(图中未示出)等。

截屏模块可以用于实现截屏功能；录屏模块可以用于实现录屏功能；区域截屏模块可以用于实现区域录屏功能，区域录屏功能是指对触控屏的某个局部区域处的显示内容进行截屏；长截屏模块可以用于实现长截屏功能，长截屏功能是指连续截取多张页面图像并进行拼接以得到一张拼接截屏图像。

在一个示例中，截屏模块、录屏模块、区域截屏模块、长截屏模块均是功能模块，譬如可以是能够实现对应功能的函数。

指关节管理模块用于管理指关节触控数据的采集、处理等相关事件。在一个示例中，指关节管理模块可以为安卓安装包(AndroidPackage，APK)，或称为应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。作为本申请的一个示例，请参考图9，该应用程序框架层包括电源管理模块、操作管理模块、电源模块、输入框架、手势处理模块、文件管理模块、第一算法动态库、第二算法动态库。其中，电源管理模块和操作管理模块属于Java框架，电源模块、输入框架、手势处理模块、文件管理模块、第一算法动态库、第二算法动态库均属于C++框架。

在一个示例中，第一算法动态库用于根据用户的指关节触控数据，结合存储的第一样本训练集，对第一指关节模型的模型参数进行更新，以便于更新后的模型参数能够使得第一指关节模型准确识别该用户的指关节触控操作。第一样本训练集是在电子设备出厂前用于对第一指关节模型进行训练使得训练后的第一指关节模型能够识别指关节触控操作的数据。

示例性地，第一算法动态库称为fingersenselearning动态库，譬如为fingersenselearning.so。

文件管理模块用于存储目标配置文件，目标配置文件中包括第一指关节模型的模型参数，譬如，在对模型参数更新前，目标配置文件中存储的是更新前的模型参数；在对模型参数进行更新后，目标配置文件中存储的是更新后的模型参数。

第二算法动态库用于在触控屏每次被点亮的情况下，通过第一指关节模型，加载目标配置文件中的模型参数，从而在需要触控操作识别时，通过第一指关节模型识别触控操作的类型。

示例性地，第二算法动态库称为hwlibfingersense动态库，譬如为hwlibfingersense.so。

手势处理模块用于调用第二算法动态库，以通过第二算法动态库中的第一指关节模型识别出的触控操作的类型，譬如确定触控操作是否为指关节触控操作，并通知给输入框架。

输入框架用于确定指关节手势的类型，并通知给操作管理模块。

操作管理模块用于根据指关节手势的类型，调用应用程序层对应的功能模块，以实现对应的功能，譬如在确定指关节手势的类型是截屏操作时，调用截屏模块执行截屏操作等。

电源管理模块用于连接电子设备的电池与电子设备的处理器。电源管理模块接收电池的输入，为处理器，内部存储器，外部存储器，触控屏，摄像头、无线通信模块等供电。

电源模块用于监听触控屏的状态，并将监听的状态通知给第二算法动态库。该状态包括点亮状态或灭屏状态，在一个示例中，电源模块可以向电源管理模块发送监听注册请求，以请求对触控屏的状态进行监听。如此，电源管理模块可以根据对触控屏的供电情况，在触控屏的状态发生变化时向电源模块反馈触控屏的状态。譬如当电源管理模块对触控屏进行供电以点亮触控屏时，通知电源模块触控屏被点亮，再如当电源管理模块对触控屏不再进行供电时，通知电源模块触控屏已进入灭屏状态。

进一步地，应用程序框架层包括一些预先定义的函数。譬如，应用程序框架层还可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等(图9中未示出)。窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问，这些数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。视图系统包括可视控件，比如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序的显示界面，显示界面可以由一个或多个视图组成，比如，包括显示短信通知图标的视图，包括显示文字的视图，以及包括显示图片的视图。电话管理器用于提供电子设备的通信功能，比如通话状态的管理(包括接通，挂断等)。资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等。通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如，通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或滚动条文本形式出现在系统顶部状态栏的通知，比如后台运行的应用程序的通知。通知管理器还可以是以对话窗口形式出现在屏幕上的通知，比如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

内核层是硬件和软件之间的层。内核层至少包含输入集线器驱动，触控屏驱动等。

在用户对触控屏进行触控操作后，电容传感器和加速度传感器分别接收到触控操作。在一个示例中，当触控屏的加速度传感器接收到触控操作时，加速度传感器中断被发送给内核层的输入集线器驱动，输入集线器驱动将触控操作加工成原始输入事件信息(包括加速度数值)，以供第二算法动态库或第一算法动态库使用。

另外，当触控屏的电容传感器接收到触控操作时，电容传感器中断被发送给内核层的触控屏驱动，触控屏驱动将触控操作加工成原始输入事件信息(包括电容值)，以供第二算法动态库或第一算法动态库使用。

基于上述图9所示的软件架构，接下来对本申请实施例提供的方法进行详细介绍。

请参考图10，图10是根据一示例性实施例示出的一种指关节触控操作的识别方法的流程示意图，应用于电子设备中，电子设备通过图9所示的多个模块交互实现，该方法可以包括如下部分或者全部内容：

步骤A1：指关节管理模块接收第一触控操作。

第一触控操作是请求采集用户的指关节触控数据以进行模型更新训练的触控操作。

作为本申请的一个示例，在用户购机后初次开启与指关节相关的快捷功能的情况下，指关节管理模块接收到第一触控操作。譬如请参考图5中的(a)图，当用户初次触发截屏选项以开启使用指关节进行快捷截屏的功能时，指关节管理模块接收到第一触控操作。再如如图5中的(a)图，当用户初次触发录屏选项以开启使用指关节进行快捷录屏的功能时，指关节管理模块接收到第一触控操作。

在一个示例中，电子设备还可能是在检测到用户开启与指关节相关的快捷功能，且未执行过基于指关节触控数据进行模型更新训练的情况下，确定检测到第一触控操作。譬如，在用户购机后初次开启与指关节相关的快捷功能的情况下，指关节管理模块还可以显示第一提示窗口，第一提示窗口中包括用于指示用户确认是否进行指关节触控操作的提示信息，另外，第一提示窗口中还可以包括“确认”选项和“取消”选项。当用户点击“取消”选项时，响应于用户的该触发操作，电子设备不显示引导界面，此时用户将对手机进行其他操作。之后，当再次检测到用户开启与指关节相关的快捷功能时，由于之前未执行过基于指关节触控数据进行模型更新训练的操作，所以指关节管理模块可以再次显示第一提示窗口。当用户点击“确认”选项时，电子设备确定接收到第一触控操作。

需要说明的是，上述示例仅是一种可选的实现方式。在另一个示例中，电子设备中还可以提供有指关节开关，指关节开关用于开启采集用户的指关节触控数据以进行模型更新训练的功能。指关节开关可以由指关节管理模块进行管理，指关节开关可以设于设置界面中。如此，当用户想要电子设备采集用户的指关节触控数据以进行模型更新训练时，可以打开设置界面，并开启指关节开关，相应地，指关节管理模块接收到第一触控操作。

步骤A2：指关节管理模块显示引导界面。

该引导界面中显示有用于引导用户进行指关节触控操作的引导信息。

示例性地，引导界面如图5中的(b)图所示，该引导界面中包括引导文字和引导图标，如此，用户即可根据引导文字，使用食指的指关节垂直重敲触控屏中的各个引导图标。

作为本申请的一个示例，引导界面的数量可以为多个。进一步地，在引导界面的数量为多个的情况下，多个引导界面中不同引导界面包括的引导信息不同，不同引导信息用于指示用户采用不同的力度和/或不同的触控方式进行指关节触控操作。

示例性地，请参考图5至图8，随着用户的指关节触控操作的进行，电子设备展示不同的引导界面，不同引导界面中的引导信息不同。

值得一提的是，通过显示多个引导界面，以引导用户采用不同的力度和/或不同的触控方式进行指关节触控操作，从而便于能够采集该用户的多种指关节触控数据，进而提高后续对模型训练的有效性。

步骤A3：指关节管理模块向第一算法动态库发送数据获取指令，该数据获取指令用于指示开始获取指关节触控数据。

在一个示例中，指关节触控数据包括指关节触控操作作用在电子设备的触控屏上时产生的加速度数值和触控屏的电容值。

步骤A4：第一算法动态库获取触控屏的指关节触控数据。

根据前文所述可知，用户在引导界面中进行指关节触控操作后，触控屏的电容传感器产生中断发送给内核层的触控屏驱动。相应地，触控屏驱动将触控操作加工成电容值，并存储在内核层。另外，触控屏的加速度传感器产生中断发送给内核层的输入集线器驱动，输入集线器驱动将触控操作加工成加速度数值，并存储在内核层。由此可见，在用户使用指关节触控引导界面后，内核层生成的指关节触控数据包括加速度数值和电容值，所以，第一算法动态库从内核层中获取指关节触控数据。

在一个示例中，第一算法动态库可以实时地从内核层获取指关节触控数据。具体地，第一算法动态库可以通过引导程序，从内核层获取指关节触控数据。

步骤A5：指关节管理模块检测到触控结束操作。

在一种可能的情况下，在引导界面的数量为多个的情况下，若指关节管理模块检测到已显示引导界面中的最后一个引导界面，且最后一个引导界面中的最后一个未被触发的引导图标被触控，则说明用户已经完成所有所指示的指关节触控操作，此时，指关节管理模型确定检测到触控结束操作。

在另一种可能的情况下，在引导界面的数量是一个的情况下，若指关节管理模块检测到引导界面中的最后一个未被触发的引导图标被触控，则说明用户已完成所有所指示的指关节触控操作，此时，指关节管理模块确定检测到触控结束操作。

当然，上述几种可能的实现方式均是可选地。在另一示例中，还可以在最后一个显示的引导界面中提供有“完成”选项，当用户完成指关节触控操作后，可以触发该“完成”选项，相应地，指关节管理模块检测到触控结束操作。

步骤A6：指关节管理模块向第一算法动态库发送数据获取结束指令。

数据获取结束指令用于指示停止获取指关节触控数据。

由于指关节触控操作结束后，不再有指关节触控数据，所以，指关节管理模块可以向第一算法动态库发送数据获取结束指令，以指示第一算法动态库不再从内核层中获取指关节触控数据。

需要说明的是，上述步骤A3至步骤A6的实现方式仅是示例性的。在另一个实施例中，还可以采用其他方式实现，譬如还可以由指关节管理模块向第一算法动态库发送数据获取指令后，由第一算法动态库从内核层获取指关节触控数据，当内核层中不存在指关节触控数据时，第一算法动态库停止获取操作，也即也可以不由指关节管理模块指示第一算法动态库停止获取指关节触控数据，而是由第一算法动态库自己控制，从而可以减少模块之间的交互。

步骤A7：第一算法动态库基于指关节触控数据，确定第一模型参数，第一模型参数能够使得第一指关节模型基于该用户的触控数据识别对应的触控操作是否为指关节触控操作。

第一指关节模型的模型参数包括能够使得第一指关节模型实现分类任务的参数，是通过训练得到的。在一个示例中，第一指关节模型的模型参数包括第一指关节模型的权重和偏置。

第一模型参数是第一指关节模型的且更新后的模型参数。

根据前文记载可知，电子设备通常在出厂时就会存储有第一指关节模型和模型参数(下文称为第二模型参数)，其中第二模型参数是基于第一样本训练集对第一指关节模型进行迭代训练后得到的，也即第一样本训练集是用于确定未更新前的第一指关节模型的第二模型参数的样本训练集。在一个示例中，请参考图9，第二模型参数可以以目标配置文件的方式存储在文件管理模块中，该目标配置文件可以是bin格式的文件，示例性地，目标配置文件为fingersense.bin。

然而，由于第一样本训练集无法覆盖所有类型的指关节触控数据，所以电子设备中自带的第一指关节模型和模型参数的识别能力具有一定的局限性，为此，电子设备基于所采集的指关节触控数据，对第一指关节模型的模型参数进行更新，以确定第一模型参数。

作为本申请的一个示例，第一算法动态库中存储有第一样本训练集，该种情况下，基于指关节触控数据，对第一指关节模型的模型参数进行更新的具体实现可以包括：基于指关节触控数据和第一样本训练集，确定第一指关节模型的更新后的模型参数，也即确定第一模型参数。

也即是，电子设备可以基于所采集的指关节触控数据，结合第一样本训练集，对第一指关节模型的模型参数进行更新，以使得更新后的模型参数和第一指关节模型适用于对该电子设备的用户的指关节触控操作的识别。

作为本申请的一个示例，第一算法动态库中包括第二指关节模型，第二指关节模型与第一指关节模型相同，也即属于同种神经网络模型。该种情况下，基于指关节触控数据和第一样本训练集，确定第一指关节模型的第一模型参数的具体实现可以包括：第一算法动态库将指关节触控数据和第一样本训练集输入至第二指关节模型中进行训练，在满足训练结束条件的情况下，将第二指关节模型当前的模型参数确定为第一模型参数。

其中，训练结束条件可以根据实际需求进行设置。作为示例而非限定，训练结束条件可以是指训练次数达到次数阈值，次数阈值可以根据实际需求进行设置，本申请实施例对此不作限定。

也即是，第一算法动态库将指关节触控数据和第一样本训练集作为第二指关节模型的输入，对第二指关节模型进行迭代训练。在一个示例中，当训练次数达到次数阈值，确定训练结束，将此时第二指关节模型的模型参数确定为第一指关节模型的更新后的模型参数，也即确定为第一模型参数。

作为示例而非限定，第一指关节模型为全连接神经网络模型，第二指关节模型也是全连接神经网络模型，本申请实施例对此不作限定。

需要说明的是，上述基于指关节触控数据对第一指关节模型的模型参数进行更新的实现方式仅是示例性的。在另一示例中，还可以直接将指关节触控数据输入至第二指关节模型中进行训练，在满足训练结束条件的情况下，将第二指关节模型当前的模型参数确定为第一模型参数，也即也可以不使用第一样本训练集，本申请实施例对此不作限定。

步骤A8：第一算法动态库将第一模型参数发送给文件管理模块。

步骤A9：文件管理模块将第一模型参数更新至目标配置文件中。

示例性地，第一算法动态库将第一模型参数更新至fingersense.bin中，如此，fingersense.bin中包括的是经过更新后的第一模型参数，而不再是第二模型参数。

如此以来，后续在第一指关节模型加载目标配置文件中的第一模型参数后，能够准确、有效地对该电子设备的用户的触控操作进行识别，以确定是否为指关节触控操作。在一个示例中，由于第二算法动态库是在每次点亮屏幕后会重新将目标配置文件中的模型参数加载至第一指关节模型中，所以为了能够保证第一指关节模型中加载的是第一模型参数，电子设备还可以执行如下操作。

步骤A10：指关节管理模块显示第一提示信息，第一提示信息用于提示用户灭屏后再次点亮屏幕。

在一个示例中，如图8中的(b)图所示，在指关节管理模块检测到用户已完成指关节触控操作后，可以显示第一提示信息，譬如第一提示信息为“请关闭屏幕后重新打开屏幕”，从而提醒用户关闭屏幕后再次打开触控屏。

需要说明的是，步骤A10是可选操作，在另一实施例中，也可以不显示第一提示信息。

步骤A11：响应于用户基于第一提示信息执行的灭屏触发操作，指关节管理模块通知电源管理模块息屏。

作为本申请的一个示例，请参考图8中的(b)图，当指关节管理模块接收到对“确定”选项的触发操作时，可以通知关节管理模块进行息屏。

步骤A12：电源管理模块熄灭触控屏。

在一个示例中，在用户根据第一提示信息执行灭屏操作后，电源管理模块可以停止对触控屏的供电，从而到达熄灭触控屏的目的。

步骤A13：响应于用户的亮屏触发操作，电源管理模块点亮触控屏。

根据第一提示信息，用户先关闭屏幕，之后，会再次触发电子设备点亮屏幕，电子设备会检测到亮屏触发操作。该种情况下，电子设备可以通过电源管理模块点亮触控屏。

步骤A14：电源管理模块向电源模块反馈触控屏的状态。

根据前文记载可知，由于电源管理模块是对触控屏进行供电，所以，电源管理模块可以获知触控屏是点亮状态还是灭屏状态，并且，在触控屏的状态发生变化的情况下，电源管理模块会通知给电源模块。所以，当电源管理模块点亮触控屏时，向电源模块反馈触控屏的状态。

步骤A15：在触控屏的状态是点亮状态的情况下，电源模块向第二算法动态库发送第一状态指示信息，第一状态指示信息用于指示触控屏处于点亮状态。

由于第二算法动态库在触控屏每次点亮时会重新加载目标配置文件，以使得第一指关节模型加载其中的第一模型参数，所以，第二算法动态库需要获知触控屏的状态变化情况。为此，当电源模块获知触控屏被点亮时，会通知给第二算法动态库。

步骤A16：第二算法动态库从文件管理模块中加载第一模型参数。

根据前文记载可知，目标配置文件中的模型参数被更新为第一模型参数，所以，第二算法动态库在加载目标配置文件后，将目标配置文件中的第一模型参数添加至第一指关节模型中。

需要说明的是，由于模型更新训练过程的时长很短，所以可以理解的是，在用户根据第一提示信息执行对应的操作之前，电子设备能够按照上述步骤完成对目标配置文件的更新操作。因此，当第二算法动态库再次加载目标配置文件时，目标配置文件中包括的是第一模型参数。

步骤A17：第二算法动态库将第一模型参数加载至第一指关节模型中。

如此，使得更新后的第一指关节模型能够准确地识别出该用户的触控操作是否是指关节触控操作，具体识别流程可以参见如下图11所示的实施例。

在本申请实施例中，通过显示引导界面，以引导用户进行指关节触控操作，从而采集该用户的指关节触控数据。之后，利用该指关节触控数据对第一指关节模型的模型参数进行更新。由于是使用该用户的指关节触控数据对第一指关节模型的模型参数进行更新，也即该指关节触控数据符合该用户的指关节触控习惯，使得更新后的模型参数具有一定的针对性，所以，更新后的模型参数能够使得第一指关节模型准确地识别该用户的指关节触控操作。

在上述实施例中的基础上，接下来对本申请实施例提供的指关节触控操作的识别方法进行介绍。请参考图11，作为示例而非限定，该方法可以由图9所示的电子设备执行，电子设备通过多个模块的交互实现，该方法可以包括如下步骤或者全部内容：

步骤B1：响应于用户对触控屏的触控操作，手势处理模块调用第二算法动态库。

步骤B2：第二算法动态库获取第二触控操作对应的触控数据。

根据前文记载可知，在用户对触控屏进行触控操作后，内核层中会生成触控数据，譬如输入集线器驱动生成加速度数值，触控屏驱动生成电容值。因此，在用户对触控屏进行第二触控操作后，第二算法动态库可以从内核层中获取第二触控操作对应的触控数据。

步骤B3：第二算法动态库将触控数据输入至第一指关节模型中进行识别处理，输出触控类型指示信息，该触控类型指示信息用于指示第二触控操作是指关节触控操作或非指关节触控操作。

在一种可能的情况下，用户可能使用指关节在触控屏上进行第二触控操作，该种情况下，第二算法动态库基于触控数据通过第一指关节模型进行识别处理后，输出的触控类型指示信息指示第二触控操作是指关节触控操作。示例性地，此时的触控类型指示信息可以为“1”。

在另一种可能的情况下，用户可能不是使用指关节在触控屏上进行第二触控操作，譬如可能是使用指腹进行第二触控操作。该种情况下，第二算法动态库基于触控数据通过第一指关节模型进行识别处理后，输出的触控类型指示信息指示第二触控操作是非指关节触控操作。示例性地，此时的触控类型指示信息可以为“0”。

步骤B4：第二算法动态库向手势处理模块反馈触控类型指示信息。

步骤B5：手势处理模块将触控类型指示信息发送给输入框架。

步骤B6：在触控类型指示信息指示的是指关节触控操作的情况下，输入框架根据后续的触控操作，判断指关节手势的类型。

作为本申请的一个示例，电子设备可以设置多种类型的指关节手势。在识别出指关节交互方式之后，电子设备可以根据后续指关节与触控屏的触碰位置，指关节与触控屏的触碰时间，以及指关节在触控屏的滑动距离等参数，确定指关节交互方式具体属于哪种类型的指关节手势，并执行与指关节手势对应的响应功能。

示例性地，指关节手势包括以下至少一种：指关节双击手势，两个指关节双击手势，指关节敲击并画圈手势，指关节敲击并画字母S手势，三个指关节沿着屏幕由上向下滑动手势，双指关节双击手势，指关节敲击并在屏幕中间画直线手势。

相应地，指关节双击手势对应截屏功能，双指关节双击手势对应录屏功能，指关节敲击并画圈手势对应区域截屏功能，指关节敲击并画字母S手势对应长截屏功能，三个指关节沿着屏幕由上向下滑动手势对应滑动截屏功能，指关节敲击并在屏幕中间画直线手势对应分屏功能。

步骤B7：输入框架将指关节手势的类型发送给操作管理模块。

步骤B8：操作管理模块根据指关节手势的类型，调用对应的功能模块执行对应的功能。

在一个示例中，以指关节手势的类型是截屏手势为例，操作管理模块调用截屏模块执行截屏功能。

需要说明的是，上述是以触控类型指示信息指示的是指关节触控操作的情况为例进行说明，在另一种情况下，若触控类型指示信息指示的是非指关节触控操作，则可以不做任何处理，或者执行与非指关节的触控操作对应的响应功能，或者反馈用于指示是非指关节操作的提示信息。

在本申请实施例中，在检测到用户的触控操作的情况下，获取对应的触控数据。基于该触控数据通过更新后的第一指关节模型进行识别处理，以确定是否指关节触控操作。由于更新后的第一指关节模型的模型参数是基于该用户的指关节触控数据确定的，所以能够提高识别的准确性和有效性。

根据上述实施例可知，第一指关节模型的识别处理操作通过第一算法动态库执行，第二指关节模型的训练操作通过第一算法动态库执行，如此通过增加第二算法动态库单独做训练操作，可以避免更改第一算法动态库的实现逻辑，也避免影响第一算法动态库的功能。

作为本申请的一个示例，在应用过程中还可以根据识别情况判断是否需要纠偏，并在确认需要纠偏时重新显示引导界面，以重新采集用户的指关节触控数据。譬如请参考图12，主要包括如下流程：

1.显示引导界面，以引导用户进行指关节触控操作。

2.通过第一算法动态库获取对应的指关节触控操作。

3.通过第一算法动态库基于指关节触控数据对第一指关节模型的模型参数进行更新。

4.通过第二算法动态库将更新后的模型参数加载至第一指关节模型中。

具体实现可以参见上述图10所示实施例中的步骤A10至步骤A17。

5.接收第二触控操作。

6.通过第一指关节模型对第二触控操作进行识别。

7.显示第二提示窗口。

8.是否基于第二提示窗口接收到需要纠偏的触控操作。

若是，则返回1，否则，若不是，则结束。

也即在初次识别触控操作后，电子设备可以显示第二提示窗口，第二提示窗口用于提示用户是否需要重新采集指关节触控数据以进行模型更新。当基于第二提示窗口检测到需要重新采集指关节触控数据以进行模型更新的确认触发操作时，可以重新显示引导界面，以重新采集指关节触控数据。否则，如果基于第二提示窗口检测到不需要重新采集指关节触控数据以进行模型更新的触发操作，则说明更新后的第一指关节模型能够准确识别该用户的触控操作，此时结束操作，也即不在显示引导界面。

图13是本申请实施例提供的一种指关节触控操作的识别装置的结构示意图，该装置可以由软件、硬件或者两者的结合实现成为上述电子设备的部分或者全部。参见图13，该装置包括：

指关节管理模块1310，用于响应于第一触控操作，显示引导界面，所述第一触控操作是请求采集用户的指关节触控数据的操作，所述引导界面中显示有用于引导所述用户进行指关节触控操作的引导信息；

获取模块1320，用于响应于所述用户在所述引导界面中基于所述引导信息执行的指关节触控操作，获取对应的指关节触控数据；

更新模块1330，用于基于所述指关节触控数据，对第一指关节模型的模型参数进行更新，更新后的模型参数能够使得所述第一指关节模型基于所述用户的触控数据识别对应的触控操作是否为指关节触控操作。

在一个示例中，获取模块1320和更新模块1330包括于第一算法动态库中。

作为本申请的一个示例，所述更新模块1330用于：

所述更新模块1330用于：

作为本申请的一个示例，所述装置还用于：

需要说明的是：上述实施例提供的指关节触控操作的识别装置在识别指关节触控操作时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

上述实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请实施例的保护范围。

上述实施例提供的指关节触控操作的识别装置与指关节触控操作的识别方法实施例属于同一构思，上述实施例中单元、模块的具体工作过程及带来的技术效果，可参见方法实施例部分，此处不再赘述。

图14是本申请实施例提供的一种电子设备的结构示意图。作为本申请的一个示例，该电子设备可以是手机(包括折叠屏手机)、平板电脑、笔记本电脑、智能手表等之类的终端。

请参见图14，电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中，传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，比如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从该存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口，如可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

外部存储器接口120可以用于连接外部存储卡，比如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。比如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，计算机可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，来执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100在使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，比如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备100的姿态，应用于横竖屏切换，计步器等应用。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

按键190包括开机键，音量键等。按键190可以是机械按键，也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，比如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(比如：同轴电缆、光纤、数据用户线(Digital Subscriber Line，DSL))或无线(比如：红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(比如：软盘、硬盘、磁带)、光介质(比如：数字通用光盘(Digital Versatile Disc，DVD))或半导体介质(比如：固态硬盘(Solid State Disk，SSD))等。

以上所述为本申请提供的可选实施例，并不用以限制本申请，凡在本申请的揭露的技术范围之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种指关节触控操作的识别方法，其特征在于，应用于电子设备，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述基于所述指关节触控数据，对第一指关节模型的模型参数进行更新，包括：

3.如权利要求2所述的方法，其特征在于，所述电子设备中包括第二指关节模型，所述第二指关节模型与所述第一指关节模型相同；

4.如权利要求2或3所述的方法，其特征在于，所述基于所述指关节触控数据和第一样本训练集，确定第一模型参数之后，还包括：

5.如权利要求4所述的方法，其特征在于，响应于灭屏后的亮屏触发操作，点亮所述电子设备的触控屏，并通过所述第一指关节模型加载所述第一模型参数之前，还包括：

6.如权利要求2-4中任一项所述的方法，其特征在于，所述电子设备中包括第一算法动态库和第二算法动态库，所述第一算法动态库中存储有所述第一指关节模型，所述第二算法动态库中存储有所述第二指关节模型，所述第一指关节模型的识别处理操作通过所述第一算法动态库执行，所述第二指关节模型的训练操作通过所述第一算法动态库执行。

7.如权利要求1-6中任一项所述的方法，其特征在于，所述引导界面的数量为多个，且多个引导界面中不同引导界面的引导信息不同，不同引导信息用于指示所述用户采用不同的力度和/或不同的触控方式进行指关节触控操作。

8.如权利要求1-7中任一项所述的方法，其特征在于，所述指关节触控数据包括所述指关节触控操作作用在所述电子设备的触控屏上时产生的加速度数值和所述触控屏的电容值。

9.一种电子设备，其特征在于，所述电子设备的结构中包括处理器和存储器；

所述存储器用于存储支持所述电子设备执行如权利要求1-8中任一项所述的方法的程序，以及存储用于实现如权利要求1-8中任一项所述的方法所涉及的数据；

所述处理器被配置为用于执行所述存储器中存储的程序。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1-8任意一项所述的方法。