CN116737290A - 指关节敲击事件的识别方法及电子设备 - Google Patents
指关节敲击事件的识别方法及电子设备 Download PDFInfo
- Publication number
- CN116737290A CN116737290A CN202211206588.7A CN202211206588A CN116737290A CN 116737290 A CN116737290 A CN 116737290A CN 202211206588 A CN202211206588 A CN 202211206588A CN 116737290 A CN116737290 A CN 116737290A
- Authority
- CN
- China
- Prior art keywords
- event
- finger joint
- input
- data
- knocking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001145 finger joint Anatomy 0.000 title claims abstract description 526
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000001133 acceleration Effects 0.000 claims abstract description 151
- 238000005070 sampling Methods 0.000 claims abstract description 99
- 238000004422 calculation algorithm Methods 0.000 claims description 193
- 238000012549 training Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 8
- 238000005096 rolling process Methods 0.000 claims description 5
- 230000002035 prolonged effect Effects 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 63
- 238000012545 processing Methods 0.000 description 26
- 238000007726 management method Methods 0.000 description 19
- 238000010079 rubber tapping Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 13
- 230000003993 interaction Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010295 mobile communication Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 239000002699 waste material Substances 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000010009 beating Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例提供了一种指关节敲击事件的识别方法及电子设备。在该方法中,电子设备中ACC传感器的采样频率设置为低频采样。在连续的两次操作中,关于第一次操作对应的输入事件是否为指关节敲击事件,电子设备基于TP容值数据进行识别,在识别结果为指关节敲击事件时,再将加速度传感器的采样频率设置为高频采样,并基于TP容值数据和高频ACC数据识别第二次操作对应的输入事件是否为指关节敲击事件。这样,在电子设备屏幕亮屏后但没有触摸事件的大部分时间内,ACC传感器只需长时间处于低频工作状态,极大地降低了电子设备的系统功耗,提升了电子设备的续航时长。
Description
技术领域
本申请涉及智能终端技术领域,尤其涉及一种指关节敲击事件的识别方法及电子设备。
背景技术
指关节敲击操作,是一种广泛应用于手机、平板等电子产品中的便捷操作。单指指关节在屏幕同一位置连续敲击两下可以截取当前屏幕,双指指关节双击屏幕可以启动录屏或者是停止录屏。指关节敲击录屏、截屏的方案为用户提供了很大的便利,提升了用户的使用体验。
然而,指关节敲击识别算法需要在短时间内获取大量的ACC(Acceleration,加速度)等传感器数据,故这些传感器需要以非常高的采样频率进行数据采集。但是,传感器的高采样频率无疑会给电子产品带来很大的功耗开销,影响电子设备的续航能力。
发明内容
为了解决上述技术问题,本申请实施例提供一种指关节敲击事件的识别方法及电子设备。在该方法中,在电子设备屏幕亮屏后但没有触摸事件的大部分时间内,ACC传感器只需长时间处于低频工作状态,只有在电子设备基于TP容值数据识别到第一次操作对应的输入事件为指关节敲击事件时,ACC传感器才需高频工作,以使电子设备可以根据TP容值数据和高频ACC数据识别第二次操作对应的输入事件是否为指关节敲击事件,极大地降低了电子设备的系统功耗,提升了电子设备的续航时长。
第一方面,本申请实施例提供一种指关节敲击事件的识别方法。该方法应用于电子设备中,包括:
响应于第一次操作,电子设备获取与第一次操作对应的第一触摸屏TP容值数据;电子设备中加速度传感器的采样频率为第一频率;电子设备根据第一TP容值数据对第一次操作对应的输入事件进行识别;在识别到第一次操作对应的输入事件为指关节敲击事件时,电子设备将ACC传感器的采样频率调整至第二频率,第二频率大于第一频率;响应于第二次操作,电子设备获取与第二次操作对应的第二TP容值数据和ACC数据;其中,第二次操作与第一次操作为连续的两次操作;电子设备根据第二TP容值数据和ACC数据对第二次操作对应的输入事件进行识别;在识别到第二次操作对应的输入事件为指关节敲击事件时,电子设备确定与第一次操作和第二次操作对应的输入事件为指关节双击事件。
在该方法中,电子设备中ACC传感器的采样频率设置为低频采样。在连续的两次操作中,关于第一次操作对应的输入事件是否为指关节敲击事件,电子设备基于TP容值数据进行识别,在识别结果为指关节敲击事件时,再将加速度传感器的采样频率设置为高频采样,并基于TP容值数据和高频ACC数据识别第二次操作对应的输入事件是否为指关节敲击事件。
这样,在电子设备屏幕亮屏后但没有触摸事件的大部分时间内,ACC传感器只需长时间处于低频工作状态,只有在电子设备基于TP容值数据识别到第一次操作对应的输入事件为指关节敲击事件时,ACC传感器才需高频工作,以使电子设备可以根据TP容值数据和高频ACC数据识别第二次操作对应的输入事件是否为指关节敲击事件,极大地降低了电子设备的系统功耗,提升了电子设备的续航时长。
根据第一方面,在电子设备根据第二TP容值数据和ACC数据对第二次操作对应的输入事件进行识别之后,该方法还包括:电子设备将ACC传感器的采样频率调整至第一频率。
这样,在电子设备根据第二TP容值数据和ACC数据对第二次操作对应的输入事件进行识别之后,电子设备将ACC传感器的采样频率由高频调整至低频,以使电子设备屏幕亮屏后但没有触摸事件的大部分时间内,ACC传感器只需处于低频工作状态。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备根据第一TP容值数据对第一次操作对应的输入事件进行识别,可以包括:在指关节敲击事件的识别线程的状态为第一状态时,电子设备根据第一TP容值数据对第一次操作对应的输入事件进行识别;其中,第一状态用于指示等待对第一次操作对应的输入事件进行识别;
在电子设备识别到第一次操作对应的输入事件为指关节敲击事件时,还包括:电子设备将识别线程的状态更新为第二状态;其中,第二状态用于指示等待对第二次操作对应的输入事件进行识别;
电子设备根据第二TP容值数据和ACC数据对第二次操作对应的输入事件进行识别,包括:在指关节敲击事件的识别线程的状态为第二状态时,电子设备根据第二TP容值数据和ACC数据对第二次操作对应的输入事件进行识别;在对第二次操作对应的输入事件完成识别后,电子设备将识别线程的状态复位至第一状态。
其中,第一状态可以理解为指关节敲击事件的识别线程的初始状态。
这样,电子设备可以基于指关节敲击事件的识别线程的状态,判断是仅基于TP容值数据对输入事件进行识别,还是基于TP容值数据和ACC数据对输入事件进行识别,以确保首次识别只需TP容值数据,再次识别才需高频ACC数据。
根据第一方面,或者以上第一方面的任意一种实现方式,该方法还包括:在识别到第一次操作对应的输入事件为非指关节敲击事件时,电子设备将识别线程的状态复位至第一状态。
由于第一次操作对应的输入事件为非指关节敲击事件时,电子设备会停止后续的预测,故将将识别线程的状态复位至第一状态,重新等待下一次输入事件的到来。
根据第一方面,或者以上第一方面的任意一种实现方式,该方法还包括:在识别到第一次操作对应的输入事件为非指关节敲击事件时,电子设备根据第一TP容值数据确定与第一次操作对应的输入事件为指腹点击事件。
根据第一方面,或者以上第一方面的任意一种实现方式,响应于第一次操作时,该方法还包括:电子设备启动定时器;其中,定时器的时长用于指示用户完成双击操作时所允许的两次操作时间间隔的最大值;响应于第二次操作,电子设备获取与第二次操作对应的第二TP容值数据和ACC数据;在定时器未超时时,响应于第二次操作,电子设备获取与第二次操作对应的第二TP容值数据和ACC数据,并关闭定时器。
这样,可以确保由第二次操作与第一次操作组成的双击操作的有效性。
根据第一方面,或者以上第一方面的任意一种实现方式,在将ACC传感器的采样频率调整至第二频率之后,该方法还包括:在定时器超时时,电子设备将ACC传感器的采样频率调整至第一频率。
这样,在定时器超时时,电子设备会停止后续的预测,电子设备将ACC传感器的采样频率由高频调整至低频,重新等待下一次输入事件的到来。
根据第一方面,或者以上第一方面的任意一种实现方式,该方法还包括:在定时器超时时,电子设备将识别线程的状态复位至第一状态。
由于定时器超时,电子设备会停止后续的预测,故将将识别线程的状态复位至第一状态,重新等待下一次输入事件的到来。
根据第一方面,或者以上第一方面的任意一种实现方式,第一次操作和第二次操作均为单指关节敲击操作时,指关节双击事件为单指关节双击操作;第一次操作和第二次操作均为双指关节敲击操作时,指关节双击事件为双指关节双击操作。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备确定与第一次操作和第二次操作对应的输入事件为指关节双击事件,包括:
如果根据第二TP容值数据确定TP报点数量为1个,则电子设备确定与第一次操作和第二次操作对应的输入事件为单指关节双击事件;如果根据第二TP容值数据确定TP报点数量为2个,则电子设备确定与第一次操作和第二次操作对应的输入事件为双指关节双击事件。
根据第一方面,或者以上第一方面的任意一种实现方式,该方法还包括:
在识别到第二次操作对应的输入事件为非指关节敲击事件时,电子设备根据第二TP容值数据确定与第一次操作和第二次操作对应的输入事件为指腹点击事件。
这样,在识别到第一次操作对应的输入事件为指关节敲击事件,识别到第二次操作对应的输入事件为非指关节敲击事件时,以基于TP容值数据和ACC数据的识别结果为准,能够降低仅基于TP容值数据进行识别的错误率。
根据第一方面,或者以上第一方面的任意一种实现方式,该方法还包括:
在根据第一TP容值数据确定指关节敲击屏幕后在屏幕上滑动未离开屏幕,则根据第一TP容值数据确定与第一次操作对应的输入事件为指关节截图事件;其中,指关节截图事件包括指关节滚动截图事件和指关节区域截图事件。
这样,在指关节截图场景下,也仅需要基于TP容值数据进行事件识别,无误ACC传感器工作于高频状态下,以此降低了系统功耗。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备根据第一TP容值数据对第一次操作对应的输入事件进行识别,可以包括:电子设备将第一TP容值数据输入至预先训练得到的第一算法模型,得到第一次操作对应的输入事件是否为指关节敲击事件的识别结果;电子设备根据第二TP容值数据和ACC数据对第二次操作对应的输入事件进行识别,可以包括:电子设备将第二TP容值数据和ACC数据输入至预先训练得到的第二算法模型,得到第二次操作对应的输入事件是否为指关节敲击事件的识别结果。
其中,第一算法模型为指关节事件识别轻量级算法模型,第二模型为指关节事件识别标准级算法模型。
这样,电子设备通过指关节事件识别轻量级算法和指关节事件识别标准级算法这两算法的配合来实现对指关节敲击事件的识别,不仅能够保证指关节事件识别的效果,而且能够降低指关节事件识别所带来的系统功耗。
根据第一方面,或者以上第一方面的任意一种实现方式,第一频率为100Hz,第二频率为1600Hz。
第二方面,本申请实施例提供一种电子设备。该电子设备包括:一个或多个处理器;存储器;以及一个或多个计算机程序,其中一个或多个计算机程序存储在存储器上,当计算机程序被一个或多个处理器执行时,使得电子设备执行第一方面以及第一方面中任意一项的指关节敲击事件的识别方法。
第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第三方面,本申请实施例提供一种计算机可读存储介质。该计算机可读存储介质包括计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行第一方面以及第一方面中任意一项的指关节敲击事件的识别方法。
第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第四方面,本申请实施例提供一种计算机程序产品,包括计算机程序,当计算机程序被运行时,使得计算机执行如第一方面或第一方面中任意一项的指关节敲击事件的识别方法。
第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第五方面,本申请提供了一种芯片,该芯片包括处理电路、收发管脚。其中,该收发管脚和该处理电路通过内部连接通路互相通信,该处理电路执行如第一方面或第一方面中任意一项的指关节敲击事件的识别方法,以控制接收管脚接收信号,以控制发送管脚发送信号。
第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
附图说明
图1为示例性示出的应用场景示意图;
图2为示例性示出的指关节敲击事件识别示意图;
图3为示例性示出的电子设备的硬件结构示意图;
图4为示例性示出的电子设备的软件结构示意图;
图5为本申请实施例提供的指关节敲击事件识别流程示意图;
图6为示例性示出的模块交互示意图;
图7为示例性示出的模块交互示意图;
图8为示例性示出的模块交互示意图;
图9为示例性示出的加速度传感器采用频率变化示意图;
图10为示例性示出的模块交互示意图;
图11为示例性示出的模块交互示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一目标对象和第二目标对象等是用于区别不同的目标对象,而不是用于描述目标对象的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个处理单元是指两个或两个以上的处理单元;多个系统是指两个或两个以上的系统。
指关节敲击操作,是一种广泛应用于手机、平板等电子设备的便捷操作。如图1中(1)所示,当用户使用单指关节在手机屏幕上连续两次敲击时,会触发对屏幕的截屏(或称截图);如图1中(2)所示,当用户使用双指关节在手机屏幕上连续两次敲击时会触发录屏启动或录屏停止。除此之外,用户使用单指指关节敲击屏幕,并保持指关节不离开屏幕,画一个圈或者其他闭合图形即可实现局部截屏;用户使用单指指关节敲击屏幕,并保持指关节不离开屏幕画“S”型曲线,屏幕开始滚动实现长图截取。其中,指关节敲击屏幕,或者指关节敲击屏幕后不离开屏幕并在屏幕上画线,以实现截屏或录屏时,需要用户指关节垂直屏幕且稍微用力。
通常,在电子设备中设置有指关节敲击识别算法模型,以识别用户操作是否为指关节敲击操作。参照图2中(1),以指关节敲击识别算法模型基于加速度数据(下文简称ACC数据)和TP(Touch Panel,触摸屏)容值数据识别指关节敲击操作为例,指关节敲击识别算法模型需要在短时间内获取大量的ACC数据,这就要求ACC传感器要工作在非常高的采样频率上。参照图2中(2),通常在电子设备亮屏时就会将ACC传感器的采样频率设置为高采样频率(例如1000hZ以上),直到电子设备灭屏时才会将ACC传感器的采样频率设置为低采样频率以退出高频采样模式。然而,ACC传感器长时间处于高频采样模式,无疑会给电子设备增加很多系统功耗的开销,影响电子设备的续航能力。
为了解决上述问题,本申请实施例提供了一种指关节敲击事件的识别方法,无需ACC传感器长时间处于高频采样模式,这样能够避免给电子设备增加系统功耗的开销,提升电子设备的续航能力。
如图3所示为电子设备100的结构示意图。可选地,电子设备100可以为终端,也可以称为终端设备,终端可以为蜂窝电话(cellular phone)或平板电脑(pad)等,本申请不做限定。需要说明的是,电子设备100的结构示意图可以适用于图1中的手机。应该理解的是,图3所示的电子设备100仅是电子设备的一个范例,并且电子设备100可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图3中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理,例如使得电子设备100实现本申请实施例中的指关节敲击事件的识别方法。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
其中传感器模块180可以包括压力传感器,陀螺仪传感器,加速度传感器,温度传感器,运动传感器,气压传感器,磁传感器,距离传感器,接近光传感器,指纹传感器,触摸传感器,环境光传感器,骨传导传感器等。
压力传感器用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器可以设置于显示屏194。电子设备100也可以根据压力传感器的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。
陀螺仪传感器可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。
加速度传感器可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时加速度传感器可检测出重力的大小及方向。加速度传感器还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。在本申请实施例中,加速度传感器采集的数据可以用于指关节敲击事件的识别。
触摸传感器,也称“触控面板”,或称TP传感器。触摸传感器可以设置于显示屏194,由触摸传感器与显示屏194组成触摸屏,也称“触摸屏”、“触控屏”或“触控显示屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。
以电容触摸屏为例,电容式触摸屏利用人体的电流感应进行工作。当用户手指或指关节触摸在电容触摸屏的金属层上时,由于人体电场,用户和触摸屏表明形成一个耦合电容,以生成TP容值数据。对于高频电流来说,电容式直接导体,于是手指或指关节从接触点吸走一个很小的电流。示例性的,这个电流分别从触摸屏四角上的电极中流出,并且流经这四个电极的电流与手指或指关节到四角的距离成正比,处理器通过对比这四个电流比例的精确计算,得出触摸点的位置信息。
示例性的,电容触摸屏还可以是基于多点触摸技术实现的多点触摸屏。多点触摸屏的工作原理是在导电层上划分出了许多独立的触控单元,而每个单元通过独立的引线连接到外部电路。由于所有的触控单元呈矩阵形排布,所以无论用户手指或指关节接触到哪一个部分,系统都能基于采集到的TP容值数据对相应的手指或指关节操作进行响应。
在本申请实施例中,触摸屏采集到的TP容值数据可以单独用于指关节敲击事件的识别,或者与加速度传感器采集的数据共同用于指关节敲击事件的识别。
按键190包括开机键(或称电源键),音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图4是本申请实施例的电子设备100的软件结构框图。
电子设备100的分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为五层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android Runtime)和系统库,HAL(HardwareAbstraction Layer,硬件抽象层)以及内核层。
应用程序层可以包括一系列应用程序包。
如图4所示,应用程序包可以包括截屏、录屏、分屏、滚动截屏、区域截屏等应用程序。应用程序包还可以包括相机、图库、WLAN、蓝牙、通话、日历、地图、导航、音乐、视频、短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图4所示,应用程序框架层可以包括Input(输入)子系统,电源管理服务,窗口管理器,内容提供器,视图系统,资源管理器,通知管理器等。
Input子系统用于处理输入事件。
电源管理服务用于管理CPU运行,屏幕的亮灭状态等。在本申请实施例中,在电源管理服务通知指关节事件识别服务触摸屏亮屏时,指关节事件识别服务所在线程启动。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知信息被用于告知下载完成,消息提醒等。通知信息还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,通知信息还可以是以对话窗口形式出现在屏幕上的通知。通知信息例如可以为在状态栏提示文本信息,发出的提示音,电子设备的振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android Runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。2D图形引擎是2D绘图的绘图引擎。
HAL为位于操作系统内核与硬件电路之间的接口层。HAL层包括但不限于:指关节事件识别服务。在本申请实施例中,指关节事件识别服务用于在输入子系统的调用下,对输入事件是否为指关节敲击事件进行识别。其中,指关节事件识别服务可以调用指关节事件识别轻量级算法模型或指关节事件识别标准级算法模型对输入事件是否为指关节敲击事件进行识别。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,加速度传感器驱动,TP驱动等。其中,硬件至少包括处理器、显示屏、加速度传感器、触摸屏等。
可以理解的是,图4示出的软件结构中的层以及各层中包含的部件,并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的层,以及每个层中可以包括更多或更少的部件,本申请不做限定。
可以理解的是,电子设备为了实现本申请实施例中的指关节敲击事件的识别方法,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例提供了一种指关节敲击事件的识别方法。其中,将指关节事件识别算法分解为指关节事件识别轻量级算法和指关节事件识别标准级算法。电子设备通过这两种指关节事件识别算法的配合来实现对指关节敲击事件的识别,不仅能够保证指关节事件识别的效果,而且能够降低指关节事件识别所带来的系统功耗。
当电子设备基于指关节事件识别轻量级算法进行指关节敲击事件识别时,依据的是基于用户操作采集到的TP容值数据,此时无需将ACC传感器的采样频率设置为高采样频率(如1600Hz),可以将ACC传感器的采样频率设置为低采样频率(如100Hz);当电子设备基于指关节事件识别标准级算法进行指关节敲击事件识别时,依据的是基于用户操作采集到的TP容值数据和ACC数据,此时需要将ACC传感器的采样频率设置为高采样频率(如1600Hz)。
这样,在电子设备屏幕亮屏后但没有触摸事件的大部分时间内,电子设备只需启动指关节事件识别轻量级算法,由于电子设备执行指关节事件识别轻量级算法不需要将ACC传感器设置成高频采样,节省了功耗,能够避免无触摸事件时ACC传感器高频工作引起的功耗浪费。
而指关节事件识别标准级算法只在input事件到来,且该input事件被指关节事件识别轻量级算法判断为指关节敲击事件后才启动,以通过指关节事件识别标准级算法对后续的input事件进行是否为指关节敲击事件的判断。也即,在连续的两个input事件中,对第一次input事件是否为指关节敲击事件的判断是基于指关节事件识别轻量级算法实现的,对第二次input事件是否为指关节敲击事件的判断是基于指关节事件识别标准级算法实现的,参照图5中(1)和(2)所示。由于指关节事件识别标准级算法拥有更准确的预测能力以及更严格的判别条件,这样能够降低由指关节事件识别轻量级算法引起的误判。
如图5中(1)所示,电子设备将触摸屏采集到的TP容值数据输入预先训练得到的指关节事件识别轻量级算法模型中,得到输入事件是否为指关节敲击事件的结果。
示例性的,指关节事件识别轻量级算法模型可以采用有监督的深度学习机器模型,如CNN(Convolutional Neural Network,卷积神经网络)模型。指关节事件识别轻量级算法模型的训练过程大致可以包括以下步骤:
S01,电子设备获取大量与指关节事件识别轻量级算法模型对应的训练样本。其中,每个训练样本中包括根据用户操作采集到的TP容值数据。
S02,电子设备获取与每个训练样本对应的输入事件类型。
其中,输入事件类型为指关节敲击事件或非指关节敲击事件。示例性的,非指关节敲击事件可以为指腹点击事件、指尖带肉点击事件等。
S03,以与每个训练样本对应的输入事件类型作为监督,根据大量训练样本训练指关节事件识别轻量级算法模型。
在对指关节事件识别轻量级算法模型进行训练时,以输入事件类型(即指关节事件识别期望值)作为监督,使指关节事件识别轻量级算法模型针对训练样本输出的指关节事件识别预测值接近于对应的输入事件类型。
示例性的,将训练样本输入至未训练的指关节事件识别轻量级算法模型中,得到指关节事件识别预测值。根据指关节事件识别预测值与指关节事件识别期望值之间的差异(如欧式距离、分布差异等),确定目标损失值。当目标损失值的变化率小于预设阈值时,确定指关节事件识别轻量级算法模型完成训练。可选的,关于指关节事件识别轻量级算法模型训练时的损失函数,可以设计一种或多种,进而在一种或多种目标损失值的变化率均小于预设阈值时,确定指关节事件识别轻量级算法模型训练完成。
其中,将训练样本输入指关节事件识别轻量级算法模型中,按照指关节事件识别轻量级算法模型中处理层设置顺序依次通过各个处理层进行处理,得到指关节事件识别预测值。示例性的,指关节事件识别轻量级算法模型中的处理层可以包括卷积层、反卷积层、池化层和全连接层。卷积层的数量可以为多个,反卷积层的数量可以为多个,以此增加神经网络的容量,提高神经网络的学习能力。可选的,指关节事件识别轻量级算法模型中至少一对尺寸相等的卷积层和反卷积层建立跳跃连接,以使得梯度可以直接跳转至其他处理层,进而使得神经网络更易于训练,避免由于梯度下降太快而导致指关节事件识别轻量级算法模型未得到充分训练的问题。
在指关节事件识别轻量级算法模型训练完成之后,将检验样本输入指关节事件识别轻量级算法模型中,对指关节事件识别轻量级算法模型进行测试和推理,以此验证指关节事件识别轻量级算法模型的训练效果。
如图5中(2)所示,电子设备将触摸屏采集到的TP容值数据以及ACC传感器采集到的高频ACC数据输入预先训练得到的指关节事件识别标准级算法模型中,得到输入事件是否为指关节敲击事件的结果。
示例性的,指关节事件识别标准级算法模型可以采用有监督的深度学习机器模型,如CNN(Convolutional Neural Network,卷积神经网络)模型。指关节事件识别标准级算法模型的训练过程大致可以包括以下步骤:
S01,电子设备获取大量与指关节事件识别标准级算法模型对应的训练样本。其中,每组训练样本中包括根据用户操作采集到的TP容值数据和ACC数据。
需要指出的是,为了确保指关节事件识别标准级算法模型的准确性,训练样本中ACC数据为高频ACC数据。
S02,电子设备获取与每组训练样本对应的输入事件类型。
其中,输入事件类型为指关节敲击事件或非指关节敲击事件。示例性的,非指关节敲击事件可以为指腹点击事件、指尖带肉点击事件等。
S03,以与每组训练样本对应的输入事件类型作为监督,根据大量训练样本训练指关节事件识别标准级算法模型。
在对指关节事件识别标准级算法模型进行训练时,以输入事件类型(即指关节事件识别期望值)作为监督,使指关节事件识别标准级算法模型针对训练样本输出的指关节事件识别预测值接近于对应的输入事件类型。
示例性的,将训练样本输入至未训练的指关节事件识别标准级算法模型中,得到指关节事件识别预测值。根据指关节事件识别预测值与指关节事件识别期望值之间的差异(如欧式距离、分布差异等),确定目标损失值。当目标损失值的变化率小于预设阈值时,确定指关节事件识别标准级算法模型完成训练。可选的,关于指关节事件识别标准级算法模型训练时的损失函数,可以设计一种或多种,进而在一种或多种目标损失值的变化率均小于预设阈值时,确定指关节事件识别标准级算法模型训练完成。
其中,将训练样本输入指关节事件识别标准级算法模型中,按照指关节事件识别标准级算法模型中处理层设置顺序依次通过各个处理层进行处理,得到指关节事件识别预测值。示例性的,指关节事件识别标准级算法模型中的处理层可以包括卷积层、反卷积层、池化层和全连接层。卷积层的数量可以为多个,反卷积层的数量可以为多个,以此增加神经网络的容量,提高神经网络的学习能力。可选的,指关节事件识别标准级算法模型中至少一对尺寸相等的卷积层和反卷积层建立跳跃连接,以使得梯度可以直接跳转至其他处理层,进而使得神经网络更易于训练,避免由于梯度下降太快而导致指关节事件识别标准级算法模型未得到充分训练的问题。
在指关节事件识别标准级算法模型训练完成之后,将检验样本输入指关节事件识别标准级算法模型中,对指关节事件识别标准级算法模型进行测试和推理,以此验证指关节事件识别标准级算法模型的训练效果。
进一步的,在使用指关节事件识别标准级算法模型基于TP容值数据和ACC数据进行输入事件识别时,还可以基于一些预设的显示条件进行TP容值数据和ACC数据进行过滤。如果输入指关节事件识别标准级算法模型的TP容值数据和ACC数据满足这些显示条件,则将指关节事件识别标准级算法模型的识别结果作为最终的识别结果。
需要指出的是,指关节事件识别轻量级算法模型和指关节事件识别标准级算法模型的模型架构可以是相同的,也可以是不同的,本申请实施例对此不做限定。
考虑到在指关节事件识别算法中,TP容值数据的贡献要远大于ACC数据,则基于TP容值数据训练得到的指关节事件识别轻量级算法模型的识别准确率也是极高的。虽然,训练数据添加ACC数据能够进一步降低误识别率,但高频ACC数据的采样会极大增加系统功耗。综合考虑,在电子设备亮屏后的绝大部分时间内,只启动指关节事件识别轻量级算法,既能确保输入事件的识别准确率,也能以避免无触摸事件时ACC传感器高频工作引起的功耗浪费。
继续参照图5,针对指关节双击操作(如单指关节双击操作或双指关节双击操作),第一次指关节敲击操作基于指关节事件识别轻量级算法模型进行识别,第二次指关节敲击操作基于指关节事件识别标准级算法模型进行识别。而且,指关节事件识别标准级算法模型只有在第一次事件被指关节事件识别轻量级算法模型识别为指关节敲击事件后才启动,由于指关节事件识别标准级算法模型拥有更准确的预测能力以及更严格的判断条件,通过指关节事件识别标准级算法模型对第二次指关节敲击操作进行识别,能够有效降低由于指关节事件识别轻量级算法模型引起的误判。
如图5中(3)所示,由于指关节事件识别轻量级算法模型的运行无需ACC数据,则在电子设备亮屏的绝大部分时间内ACC传感器的采样频率均可以设置为低采样频率。只有在第一次事件被指关节事件识别轻量级算法模型识别为指关节敲击事件后,指关节事件识别标准级算法模型运行才需要ACC数据,故而在基于指关节事件识别轻量级算法模型识别出第一次操作为指关节敲击操作后,才需要将ACC传感器的采样频率设置为高采样频率。而且,在第二次操作基于指关节事件识别标准级算法模型进行识别时,ACC传感器的采样频率又可以被重新设置为低采样频率。
这样,在电子设备屏幕亮屏后但没有触摸事件的大部分时间内,只需启动指关节事件识别轻量级算法,也即ACC传感器长时间处于低频工作状态,只有指关节事件识别标准级算法的运行才需ACC传感器处于高频工作状态。而当指关节事件识别轻量级算法识别到输入事件为非指关节敲击事件时,指关节事件识别标准级算法无需启动,则ACC传感器只需处于低频工作状态,极大地降低了电子设备亮屏且输入事件非指关节敲击时的系统功耗。
在用户使用指关节双击屏幕的应用场景中,本申请实施例提供的技术方案为:用户第一次使用指关节敲击屏幕的操作是基于指关节事件识别轻量级算法进行识别的,用户第二次使用指关节敲击屏幕的操作是基于指关节事件识别标准级算法进行识别的。相比于用户两次指关节敲击屏幕的操作均基于指关节事件识别轻量级算法进行识别的方案,本申请实施例提供的技术方案能够有效降低指关节双击事件的误识别率;相比于用户两次指关节敲击屏幕的操作均基于指关节事件识别标准级算法进行识别的方案,本申请实施例提供的技术方案能够有效降低电子设备的系统功耗,提升电子设备的续航能力。
需要指出的是,指关节事件识别轻量级算法和指关节事件识别标准级算法的命名仅仅是示例性的举例,本申请实施例对此不做限定。
下述结合几个具体的应用场景,对本申请实施例提供的指关节敲击事件的识别方法进行解释说明。
场景一
在本场景中,以用户指关节双击操作为例进行解释说明。其中,指关节双击操作可以是单指关节双击操作,也可以是双指关节双击操作,本实施例对此不做限定。
图6为本申请实施例提供的模块交互示意图。如图6所示,本申请实施例提供的指关节敲击事件的识别方法的流程,具体包括:
S101,响应于接收到的第一次指关节敲击操作,TP驱动向Input子系统上报input事件。
当用户使用指关节触控到TP时,TP响应,其容值数据发生变化。TP驱动检测到TP容值数据发生变化后,向Input子系统上报input事件。
其中,TP驱动上报的input事件信息可以包括但不限于TP上报点的坐标信息和TP上报点的数量。例如,当用户使用单指关节敲击触摸屏时,在TP驱动上报的input事件信息中,TP上报点的数量为1,以及一个TP上报点的坐标信息。再例如,当用户使用双指关节敲击触摸屏时,在TP驱动上报的input事件信息中,TP上报点的数量为2,以及两个TP上报点的坐标信息。
S102,Input子系统启动定时器。
其中,定时器用于检测指关节双击事件的两次敲击操作是否在规定的时间内完成。定时器的定时时长,可以为指关节双击事件允许的两次敲击操作的时间间隔最大值。定时器超时,表明用户未在规定的时间内完成指关节双击事件的两次敲击操作。
Input子系统接收到input事件之后,判断当前是否存在定时器,若否,则表明用户的此次操作为第一次操作,启动定时器。
在一种可能的情形中,Input子系统接收到一次input事件之后,启动定时器,并在定时器超时之前未接收到下一次input事件。此时,定时器超时关闭。在此情形下,如果Input子系统再次接收到input事件,则重新启动定时器,以对后续接收到的input事件之间的时间间隔进行检测。
S103,Input子系统调用指关节事件识别服务。
Input子系统在接收到input事件之后,调用指关节事件识别服务对本次input事件是否为指关节敲击事件进行识别。
S104,指关节事件识别服务启动指关节事件识别轻量级算法模型,并获取当前input事件对应的TP容值数据。
其中,指关节事件识别服务的运行阶段,指关节事件识别服务所在线程的状态随时变化。进而,指关节事件识别服务可以根据其所在线程的状态选择启动指关节事件识别轻量级算法模型或指关节事件识别标准级算法模型对当前input事件进行是否为指关节敲击事件的识别。
示例性的,指关节事件识别服务所在线程的初始状态为第一状态。其中,第一状态用于指示指关节事件识别服务等待对第一次input事件进行识别。
当指关节事件识别服务所在线程的状态为第一状态时,如果指关节事件识别服务被Input子系统调用以对当前input事件进行是否为指关节敲击事件的识别,则指关节事件识别服务启动指关节事件识别轻量级算法模型。
这样,指关节事件识别服务可以根据其所在线程的状态,确定对当前input事件进行是否为指关节敲击事件的识别时所采用的指关节识别算法模型,以此实现采用指关节事件识别轻量级算法模型对首次接收到的input事件进行识别,此时只需ACC传感器以较低的采样频率进行ACC数据采集。
指关节事件识别服务启动指关节事件识别轻量级算法模型后,获取当前input事件对应的TP容值数据,以使用指关节事件识别轻量级算法模型基于TP容值数据对第一次input事件进行识别。
示例性的,指关节事件识别服务在启动指关节事件识别轻量级算法模型后,向TP驱动发送TP容值数据获取请求。TP驱动响应于该TP容值数据获取请求,将与当前input事件对应的TP容值数据发送至指关节事件识别服务。
S105,指关节事件识别服务使用指关节事件识别轻量级算法模型基于TP容值数据对第一次input事件进行识别,并在完成识别后更新指关节事件识别服务所在线程状态。
指关节事件识别服务将当前input事件对应的TP容值数据输入指关节事件识别轻量级算法模型,指关节事件识别轻量级算法模型基于TP容值数据对input事件进行识别,得到当前input事件是否为指关节敲击事件的结果,并将事件识别结果反馈给指关节事件识别服务。由于当前input事件是用户第一次操作触发的,则可以将当前input事件称之为第一次input事件。
在指关节事件识别服务使用指关节事件识别轻量级算法模型完成对当前input事件的识别之后,如果识别到当前input事件为指关节敲击事件,则将指关节事件识别服务所在线程的状态调整为第二状态。其中,第二状态用于指示指关节事件识别服务等待对第一次input事件进行识别。然而,如果识别到当前input事件为非指关节敲击事件,则将指关节事件识别服务所在线程的状态复位到初始状态(如第一状态)。
本场景中,在指关节事件识别服务使用指关节事件识别轻量级算法模型完成对当前input事件的识别之后,将指关节事件识别服务所在线程的状态调整为第二状态。
需要指出的是,指关节事件识别服务所在线程的状态还可以包括其他状态,例如用于指示指关节事件识别轻量级算法模型对第一次input事件正在识别中的第三状态,用于指示指关节事件识别轻量级算法模型对第一次input事件完成识别的第四状态等,本申请实施例对此不做限定。
S106,在识别到第一次input事件为指关节敲击事件时,指关节事件识别服务向ACC传感器驱动发送采样频率调高指令。
在指关节事件识别服务获取到当前input事件(即第一次input事件)为指关节敲击事件时,指关节事件识别服务向ACC传感器驱动发送采样频率调高指令。
其中,采样频率调高指令用于指示ACC传感器驱动将ACC传感器的采样频率调高。示例性的,采样频率调高指令可以包括但不限于采样频率调整类型,此时采样频率调整类型用于指示将采样频率调高。又示例性的,采样频率调高指令可以包括但不限于采样频率调整指示以及采样频率,此时采样频率调高指令携带的采样频率为较高的采样频率,例如为第二采样频率(如1600Hz)。其中,第二采样频率大于第一采样频率。
S107,ACC传感器驱动按照第二采样频率驱动ACC传感器进行数据采样。
ACC传感器驱动在接收到采样频率调高指令之前,ACC传感器的采样频率为较低的采样频率,例如为第一采样频率(如100Hz)。
ACC传感器驱动在接收到采样频率调高指令,根据采样频率调高指令将ACC传感器的采样频率调整为较高的采样频率,例如为第二采样频率(如1600Hz)。由此,ACC传感器驱动按照第二采样频率驱动ACC传感器进行数据采样,此时ACC传感器以较高的采样频率进行数据采集,系统功耗升高。
S108,指关节事件识别服务等待对第二次input事件进行识别。
指关节事件识别服务使用指关节事件识别轻量级算法模型对第一次input事件进行识别之后,等待使用指关节事件识别标准级算法模型对第二次input事件进行识别。
S109,响应于接收到的第二次指关节敲击操作,TP驱动向Input子系统上报input事件。
当用户再次使用指关节触控到TP时,TP响应,其容值数据发生变化。TP驱动检测到TP容值数据发生变化后,向Input子系统上报input事件。其中,TP驱动上报的input事件信息可以包括但不限于TP上报点的坐标信息和TP上报点的数量。
S110,Input子系统关闭定时器。
如果在定时器未超时之前,Input子系统再次接收到TP驱动上报的input事件,则表明用户的两次操作在双击操作允许的时间内完成,Input子系统关闭定时器。
S111,Input子系统调用指关节事件识别服务。
Input子系统在接收到input事件(即第二次input事件)之后,再次调用指关节事件识别服务对本次input事件是否为指关节敲击事件进行识别。
S112,指关节事件识别服务启动指关节事件识别标准级算法模型,并获取当前input事件对应的TP容值数据以及高频ACC数据。
在本场景中,指关节事件识别服务通过指关节事件识别轻量级算法模型识别到第一次input事件为指关节敲击事件,指关节事件识别服务所在线程的状态被调整为第二状态。
由此,在指关节事件识别服务所在线程的状态为第二状态时,如果指关节事件识别服务再次被Input子系统调用以对当前input事件进行是否为指关节敲击事件的识别,则指关节事件识别服务启动指关节事件识别标准级算法模型。
示例性的,指关节事件识别服务在启动指关节事件识别标准级算法模型后,向TP驱动发送TP容值数据获取请求,以及向ACC传感器驱动发送ACC数据获取请求。TP驱动响应于该TP容值数据获取请求,将与当前input事件对应的TP容值数据发送至指关节事件识别服务。ACC传感器驱动响应于该ACC数据获取请求,将与当前input事件对应的ACC数据发送至指关节事件识别服务。此时,指关节事件识别服务获取到的ACC数据为高频采集的ACC数据,能够准确捕捉到由用户操作引起的电子设备加速度变化等信息。
S113,指关节事件识别服务使用指关节事件识别标准级算法模型基于TP容值数据和高频ACC数据对第二次input事件进行识别,并在完成识别后复位指关节事件识别服务所在线程状态。
指关节事件识别服务将当前input事件对应的TP容值数据和高频ACC数据输入指关节事件识别标准级算法模型,指关节事件识别标准级算法模型基于TP容值数据和高频ACC数据对input事件进行识别,得到当前input事件是否为指关节敲击事件的结果,并将事件识别结果反馈给指关节事件识别服务。
在指关节事件识别服务使用指关节事件识别轻量级算法模型完成对当前input事件的识别之后,将指关节事件识别服务所在线程的状态复位至初始状态,例如第一状态。
需要指出的是,指关节事件识别服务所在线程的状态还可以包括其他状态,例如用于指示指关节事件识别标准级算法模型对第二次input事件正在识别中的第五状态,用于指示指关节事件识别标准级算法模型对第二次input事件完成识别的第六状态等,本申请实施例对此不做限定。
这样,在指关节事件识别服务使用指关节事件识别标准级算法模型对当前input事件完成识别之后,将指关节事件识别服务所在线程的状态复位,进而使指关节事件识别服务再次被Input子系统调用进行指关节敲击事件识别时,可以再次使用指关节事件识别轻量级算法模型对下一次input事件进行识别。
S114,指关节事件识别服务向ACC传感器驱动发送采样频率降低指令。
在指关节事件识别服务启动指关节事件识别标准级算法模型对第二次input事件进行识别后,指关节事件识别服务向ACC传感器驱动发送采样频率降低指令。
其中,采样频率降低指令用于指示ACC传感器驱动将ACC传感器的采样频率降低。示例性的,采样频率降低指令可以包括但不限于采样频率调整类型,此时采样频率调整类型用于指示将采样频率降低。又示例性的,采样频率调高指令可以包括但不限于采样频率调整指示以及采样频率,此时采样频率调高指令携带的采样频率为较低的采样频率,例如为第一采样频率(如100Hz)。
本申请实施例对S113和S114的先后执行顺序不做限定。
S115,ACC传感器驱动按照第一采样频率驱动ACC传感器进行数据采样。
ACC传感器驱动在接收到采样频率降低指令之前,ACC传感器的采样频率为较高的采样频率,例如为第二采样频率(如1600Hz)。
ACC传感器驱动在接收到采样频率调高指令,根据采样频率降低指令将ACC传感器的采样频率调整为较低的采样频率,例如为第一采样频率(如100Hz)。由此,ACC传感器驱动按照第一采样频率驱动ACC传感器进行数据采样,此时ACC传感器以较低的采样频率进行数据采集,系统功耗降低。
S116,指关节事件识别服务在识别到第二次input事件为指关节敲击事件时,向Input子系统上报指关节双击事件。
当指关节事件识别服务在识别到第二次input事件为指关节敲击事件时,由于指关节事件识别服务识别到第一次input事件也为指关节敲击事件,则向Input子系统上报指关节双击事件。
本申请实施例对S114-S116的先后执行顺序不做限定。
S117,Input子系统根据当前input事件的TP报点数量确定指关节双击事件为单指关节双击事件或双指关节双击事件。
Input子系统接收到指关节事件识别服务上报的指关节双击事件,如果当前input事件(即第二次input事件)的TP报点数量为1,则确定当前指关节双击事件为单指关节双击事件,并向上层上报单指关节双击事件。这样,上层应用即可响应于该单指关节双击事件执行相应的截屏操作。
Input子系统接收到指关节事件识别服务上报的指关节双击事件,如果当前input事件(即第二次input事件)的TP报点数量为2,则确定当前指关节双击事件为双指关节双击事件,并向上层上报双指关节双击事件。这样,上层应用即可响应于该双指关节双击事件执行相应的录屏开始操作或录屏取消操作。
在本申请实施例中,在用户单指关节或双指关节双击屏幕时,第一次敲击操作采用指关节事件识别轻量级算法进行识别,第二次敲击操作采用指关节事件识别标准级算法进行识别。由于指关节事件识别轻量级算法对输入事件进行识别时,无需参考ACC数据,则ACC加速度传感器以低频采样率工作即可。而指关节事件识别标准级算法对输入事件进行识别时,需要高频ACC数据,故只有在第一次敲击操作被指关节事件识别轻量级算法识别为指关节敲击操作之后,ACC加速度传感器才需要被调整至高频采样,并在第二次敲击操作被完成识别后ACC加速度传感器便可以恢复至低频采样。
这样,电子设备屏幕亮屏后但没有触摸事件的大部分时间内,ACC传感器低频采样,只有在第一次操作被识别为指关节敲击事件后ACC传感器才需高频采样,并在第二次操作被识别完成后又可以恢复低频采用。由于电子设备无需ACC传感器长时间处于高频采样模式,极大地降低了系统功耗的开销,提升了电子设备的续航能力。
场景二
鉴于用户连续的两次操作可能不同(例如第一次操作为指关节敲击操作,第二次操作为指腹点击操作),指关节事件识别轻量级算法和指关节事件识别标准级算法对同种用户操作(如指腹点击事件)的识别结果也有可能不同,本场景描述一种可能的特殊情形:指关节事件识别轻量级算法对第一次输入事件的识别结果为指关节敲击事件,指关节事件识别标准级算法对第二次输入事件的识别结果为非指关节敲击事件。
图7为本申请实施例提供的模块交互示意图。如图7所示,本申请实施例提供的指关节敲击事件的识别方法的流程,具体包括:
S201,响应于接收到的第一次操作,TP驱动向Input子系统上报input事件。
在本场景中,第一次操作可能是指关节敲击操作,也有可能是指腹点击操作。
当用户操作触控到TP时,TP响应,其容值数据发生变化。TP驱动检测到TP容值数据发生变化后,向Input子系统上报input事件。其中,TP驱动上报的input事件信息可以包括但不限于TP上报点的坐标信息和TP上报点的数量。
S202,Input子系统启动定时器。
S203,Input子系统调用指关节事件识别服务。
S204,指关节事件识别服务启动指关节事件识别轻量级算法模型,并获取当前input事件对应的TP容值数据。
S205,指关节事件识别服务使用指关节事件识别轻量级算法模型基于TP容值数据对第一次input事件进行识别,并在完成识别后更新指关节事件识别服务所在线程状态。
在本场景中,指关节事件识别轻量级算法模型基于TP容值数据对第一次input事件进行识别,得到第一次input事件为指关节敲击事件的识别结果。
在一种可能的情形中,用户的第一次操作为指关节敲击操作,指关节事件识别轻量级算法模型识别准确,得到第一次input事件为指关节敲击事件的识别结果。
在另一种可能的情形中,用户的第一次操作为指腹点击操作,指关节事件识别轻量级算法模型识别不准确,得到第一次input事件为指关节敲击事件的识别结果。
在本场景中,在指关节事件识别服务使用指关节事件识别轻量级算法模型完成对当前input事件的识别之后,将指关节事件识别服务所在线程的状态调整为第二状态。
S206,在识别到第一次input事件为指关节敲击事件时,指关节事件识别服务向ACC传感器驱动发送采样频率调高指令。
S207,ACC传感器驱动按照第二采样频率驱动ACC传感器进行数据采样。
S208,指关节事件识别服务等待对第二次input事件进行识别。
S209,响应于接收到的第二次操作,TP驱动向Input子系统上报input事件。
在本场景中,第二次操作可能是指关节敲击操作,也有可能是指腹点击操作。
当用户再次操作触控到TP时,TP响应,其容值数据发生变化。TP驱动检测到TP容值数据发生变化后,向Input子系统上报input事件。其中,TP驱动上报的input事件信息可以包括但不限于TP上报点的坐标信息和TP上报点的数量。
S210,Input子系统关闭定时器。
如果在定时器未超时之前,Input子系统再次接收到TP驱动上报的input事件,则表明用户的两次操作在双击操作允许的时间内完成,Input子系统关闭定时器。
S211,Input子系统调用指关节事件识别服务。
S212,指关节事件识别服务启动指关节事件识别标准级算法模型,并获取当前input事件对应的TP容值数据以及高频ACC数据。
在本场景中,指关节事件识别服务通过指关节事件识别轻量级算法模型识别到第一次input事件为指关节敲击事件,指关节事件识别服务所在线程的状态被调整为第二状态。
由此,在指关节事件识别服务所在线程的状态为第二状态时,如果指关节事件识别服务再次被Input子系统调用以对当前input事件进行是否为指关节敲击事件的识别,则指关节事件识别服务启动指关节事件识别标准级算法模型。
S213,指关节事件识别服务使用指关节事件识别标准级算法模型基于TP容值数据和高频ACC数据对第二次input事件进行识别,并在完成识别后复位指关节事件识别服务所在线程状态。
在本场景中,指关节事件识别标准级算法模型基于TP容值数据和高频ACC数据对input事件进行识别,得到当前input事件为非指关节敲击事件的识别结果。
在一种可能的情形中,用户的第二次操作为指关节敲击操作,指关节事件识别标准级算法模型识别不准确,得到第二次input事件为非指关节敲击事件的识别结果。
在另一种可能的情形中,用户的第二次操作为指腹点击操作,指关节事件识别标准级算法模型识别准确,得到第二次input事件为非指关节敲击事件的识别结果。
在指关节事件识别服务使用指关节事件识别轻量级算法模型完成对当前input事件的识别之后,将指关节事件识别服务所在线程的状态复位至初始状态,例如第一状态。
这样,在指关节事件识别服务使用指关节事件识别标准级算法模型对当前input事件完成识别之后,将指关节事件识别服务所在线程的状态复位,进而使指关节事件识别服务再次被Input子系统调用进行指关节敲击事件识别时,可以再次使用指关节事件识别轻量级算法模型对下一次input事件进行识别。
S214,指关节事件识别服务向ACC传感器驱动发送采样频率降低指令。
本申请实施例对S213和S214的先后执行顺序不做限定。
S215,ACC传感器驱动按照第一采样频率驱动ACC传感器进行数据采样。
S216,指关节事件识别服务在识别到第二次input事件为非指关节敲击事件时,向Input子系统上报指腹点击事件。
当指关节事件识别服务在识别到第二次input事件为非指关节敲击事件时,忽略第一次input事件为指关节敲击事件的识别结果,则向Input子系统上报指腹点击事件。
本申请实施例对S214-S216的先后执行顺序不做限定。
S217,Input子系统根据当前input事件的TP报点信息确定指腹点击事件的位置信息。
Input子系统接收到指关节事件识别服务上报的指腹点击事件,则将当前input事件(即第二次input事件)的TP报点的坐标信息确定为指腹点击事件的位置信息,并向上层上报指腹点击事件。这样,上层应用即可响应于该指腹点击事件执行相应的操作。
本流程未尽详细描述之处可以参照场景一,在此不再赘述。
本申请实施例中,在用户连续两次触控屏幕时,如果第一次操作对应的输入事件被指关节事件识别轻量级算法识别为指关节敲击操作,则第二次操作对应的输入事件基于指关节事件识别标准级算法进行识别。一旦第二次操作对应的输入事件被指关节事件识别标准级算法识别为非指关节敲击操作,则指关节事件识别服务以指关节事件识别标准级算法的识别结果为准,确定输入事件为指腹点击事件。这样,能够有效降低指关节双击事件的误识别率。
场景三
鉴于用户执行的操作可能为一次指关节敲击操作(包括单指关节敲击操作和双指关节敲击操作),或者一次指腹点击操作,本场景描述一种可能的特殊情形:指关节事件识别轻量级算法对第一次输入事件的识别结果为指关节敲击事件,而第二次输入事件等待超时。
图8为本申请实施例提供的模块交互示意图。如图8所示,本申请实施例提供的指关节敲击事件的识别方法的流程,具体包括:
S301,响应于接收到的指关节敲击操作或指腹点击操作,TP驱动向Input子系统上报input事件。
在本场景中,第一次操作可能是指关节敲击操作,也有可能是指腹点击操作。
当用户操作触控到TP时,TP响应,其容值数据发生变化。TP驱动检测到TP容值数据发生变化后,向Input子系统上报input事件。其中,TP驱动上报的input事件信息可以包括但不限于TP上报点的坐标信息和TP上报点的数量。
S302,Input子系统启动定时器。
S303,Input子系统调用指关节事件识别服务。
S304,指关节事件识别服务启动指关节事件识别轻量级算法模型,并获取当前input事件对应的TP容值数据。
S305,指关节事件识别服务使用指关节事件识别轻量级算法模型基于TP容值数据对第一次input事件进行识别,并在完成识别后更新指关节事件识别服务所在线程状态。
在本场景中,指关节事件识别轻量级算法模型基于TP容值数据对第一次input事件进行识别,得到第一次input事件为指关节敲击事件的识别结果。
在一种可能的情形中,用户的第一次操作为指关节敲击操作,指关节事件识别轻量级算法模型识别准确,得到第一次input事件为指关节敲击事件的识别结果。
在另一种可能的情形中,用户的第一次操作为指腹点击操作,指关节事件识别轻量级算法模型识别不准确,得到第一次input事件为指关节敲击事件的识别结果。
在本场景中,在指关节事件识别服务使用指关节事件识别轻量级算法模型完成对当前input事件的识别之后,将指关节事件识别服务所在线程的状态调整为第二状态。
S306,在识别到第一次input事件为指关节敲击事件时,指关节事件识别服务向ACC传感器驱动发送采样频率调高指令。
S307,ACC传感器驱动按照第二采样频率驱动ACC传感器进行数据采样。
S308,指关节事件识别服务等待对第二次input事件进行识别。
S309,Input子系统检测到定时器超时,向指关节事件识别服务发送通知信息。
其中,通知信息用于指示双击事件中的第二次操作超时,当前操作为单击操作。
S310,指关节事件识别服务接收到定时器超时信息后,向ACC传感器驱动发送采样频率降低指令。
如图9所示,由于指关节事件识别轻量级算法模型的运行无需ACC数据,则在电子设备亮屏的绝大部分时间内ACC传感器的采样频率均可以设置为低采样频率。只有在第一次事件被指关节事件识别轻量级算法模型识别为指关节敲击事件后,指关节事件识别标准级算法模型运行才需要ACC数据,故而在基于指关节事件识别轻量级算法模型识别出第一次操作为指关节敲击操作后,才需要将ACC传感器的采样频率设置为高采样频率。而且,在定时器超时,也即第二次操作超时时,指关节事件识别标准级算法无需运行,ACC传感器的采样频率又可以被重新设置为低采样频率。
S311,ACC传感器驱动按照第一采样频率驱动ACC传感器进行数据采样。
S312,指关节事件识别服务向Input子系统上报指腹点击事件。
当指关节事件识别服务获知第二次input事件超时时,忽略第一次input事件为指关节敲击事件的识别结果,直接向Input子系统上报指腹点击事件。
本实施例对S310和S312的先后执行顺序不做限定。
S313,Input子系统根据当前input事件的TP报点信息确定指腹点击事件的位置信息。
Input子系统接收到指关节事件识别服务上报的指腹点击事件,则将当前input事件(即第一次input事件)的TP报点的坐标信息确定为指腹点击事件的位置信息,并向上层上报指腹点击事件。这样,上层应用即可响应于该指腹点击事件执行相应的操作。
本流程未尽详细描述之处可以参照场景一,在此不再赘述。
本申请实施例中,若用户连续两次操作中的第二次操作超时时,即使第一次操作对应的输入事件被指关节事件识别轻量级算法识别为指关节敲击操作,由于没有指关节事件识别标准级算法的再次印证,指关节事件识别服务不会将输入事件确认为指关节敲击事件,而是以指腹点击事件进行上报,以此确保指关节双击事件识别的有效性。
场景四
鉴于用户执行的操作可能只是一次指腹点击操作,本场景描述一种可能的特殊情形:指关节事件识别轻量级算法对第一次输入事件的识别结果为非指关节敲击事件,此时指关节事件识别标准级算法不会被启动。
图10为本申请实施例提供的模块交互示意图。如图10所示,本申请实施例提供的指关节敲击事件的识别方法的流程,具体包括:
S401,响应于接收到的指腹点击操作,TP驱动向Input子系统上报input事件。
当用户操作触控到TP时,TP响应,其容值数据发生变化。TP驱动检测到TP容值数据发生变化后,向Input子系统上报input事件。其中,TP驱动上报的input事件信息可以包括但不限于TP上报点的坐标信息和TP上报点的数量。
S402,Input子系统启动定时器。
S403,Input子系统调用指关节事件识别服务。
S404,指关节事件识别服务启动指关节事件识别轻量级算法模型,并获取当前input事件对应的TP容值数据。
S405,指关节事件识别服务使用指关节事件识别轻量级算法模型基于TP容值数据对第一次input事件进行识别。
S406,指关节事件识别服务识别到第一次事件为非指关节敲击事件,更新线程状态。
在本场景中,在指关节事件识别服务使用指关节事件识别轻量级算法模型完成对当前input事件的识别之后,将指关节事件识别服务所在线程的状态复位到初始状态,即第一状态。
S407,指关节事件识别服务向Input子系统上报指腹点击事件。
在本场景中,指关节事件识别服务使用指关节事件识别轻量级算法模型识别到输入事件为非指关节敲击事件,即该输入事件为指腹点击事件,此时指关节事件识别标准级算法模型无需再次启动。指关节事件识别服务根据指关节事件识别轻量级算法模型的识别结果,直接向Input子系统上报指腹点击事件。
S408,Input子系统关闭定时器。
根据指关节事件识别服务上报的指腹点击事件,可以确认本次输入事件非双击事件,并关闭定时器。
S409,Input子系统根据当前input事件的TP报点信息确定指腹点击事件的位置信息。
Input子系统接收到指关节事件识别服务上报的指腹点击事件,则将当前input事件(即第一次input事件)的TP报点的坐标信息确定为指腹点击事件的位置信息,并向上层上报指腹点击事件。这样,上层应用即可响应于该指腹点击事件执行相应的操作。
本流程未尽详细描述之处可以参照场景一,在此不再赘述。
本申请实施例中,若第一次操作对应的输入事件被指关节事件识别轻量级算法识别为非指关节敲击操作,则指关节事件识别级标准级算法无需启动,进而ACC传感器不会进入高频采用状态,避免造成不必要的功耗浪费,影响电子设备的续航时长。
场景五
鉴于用户执行的操作可能只是一次指关节敲击及划线操作,本场景描述一种可能的特殊情形:指关节事件识别轻量级算法对第一次输入事件的识别结果为指关节敲击事件,且指关节敲击后在屏幕上移动未抬起,此时指关节事件识别标准级算法也不会被启动。
图11为本申请实施例提供的模块交互示意图。如图11所示,本申请实施例提供的指关节敲击事件的识别方法的流程,具体包括:
S501,响应于接收到的指关节敲击指腹点击操作,TP驱动向Input子系统上报input事件。
当用户操作触控到TP时,TP响应,其容值数据发生变化。TP驱动检测到TP容值数据发生变化后,向Input子系统上报input事件。其中,TP驱动上报的input事件信息可以包括但不限于TP上报点的坐标信息和TP上报点的数量。
S502,Input子系统启动定时器。
S503,Input子系统调用指关节事件识别服务。
S504,指关节事件识别服务启动指关节事件识别轻量级算法模型,并获取当前input事件对应的TP容值数据。
S505,指关节事件识别服务使用指关节事件识别轻量级算法模型基于TP容值数据对第一次input事件进行识别。
S506,指关节事件识别服务识别到第一次事件为指关节敲击事件,且指关节敲击后在屏幕上移动未抬起,更新线程状态。
由于用户在使用指关节敲击屏幕后,继续使用指关节在屏幕上执行划线操作,TP响应,其容值数据持续发生变化。由此,指关节事件识别轻量级算法模型可以基于持续变化TP容值数据对第一次input事件进行识别,得到指关节敲击事件,且指关节敲击后在屏幕上移动未抬起的识别结果。
在本场景中,在指关节事件识别服务使用指关节事件识别轻量级算法模型完成对当前input事件的识别之后,将指关节事件识别服务所在线程的状态复位到初始状态,即第一状态。
S507,指关节事件识别服务向Input子系统上报指关节截屏事件。
S508,Input子系统关闭定时器。
在一种可能的情形下,根据指关节事件识别服务上报的指关节截屏事件,可以确认本次输入事件非双击事件,并关闭定时器。
在另一种可能的情形下,定时器超时后关闭。
S509,Input子系统根据当前input事件的TP报点信息确定指关节截屏事件为指关节滚动截屏事件或指关节区域截屏事件。
Input子系统接收到指关节事件识别服务上报的指关节截屏事件,则将当前input事件(即第一次input事件)的TP报点的坐标信息确定为指关节截屏事件对应的划线轨迹信息,进而可以确定此次指关节截屏事件为指关节滚动截屏事件(或称指关节长截屏事件)或指关节区域截屏事件,并向上层上报。这样,上层应用即可响应于该指关节滚动截屏事件或指关节区域截屏事件执行相应的截屏操作。
本流程未尽详细描述之处可以参照场景一,在此不再赘述。
本申请实施例中,若第一次操作对应的输入事件被指关节事件识别轻量级算法识别为指关节敲击及划线事件(即指关节敲击后在屏幕上移动未抬起),则指关节事件识别级标准级算法无需启动,进而ACC传感器不会进入高频采用状态,避免造成不必要的功耗浪费,影响电子设备的续航时长。
本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的指关节敲击事件的识别方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的指关节敲击事件的识别方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的指关节敲击事件的识别方法。
其中,本实施例提供的电子设备(如手机、平板等)、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (16)
1.一种指关节敲击事件的识别方法,其特征在于,应用于电子设备中,包括:
响应于第一次操作,获取与第一次操作对应的第一触摸屏TP容值数据;所述电子设备中加速度传感器的采样频率为第一频率;
根据所述第一TP容值数据对所述第一次操作对应的输入事件进行识别;
在识别到所述第一次操作对应的输入事件为指关节敲击事件时,将所述加速度ACC传感器的采样频率调整至第二频率,所述第二频率大于所述第一频率;
响应于第二次操作,获取与所述第二次操作对应的第二TP容值数据和ACC数据;其中,所述第二次操作与所述第一次操作为连续的两次操作;
根据所述第二TP容值数据和所述ACC数据对所述第二次操作对应的输入事件进行识别;
在识别到所述第二次操作对应的输入事件为指关节敲击事件时,确定与所述第一次操作和所述第二次操作对应的输入事件为指关节双击事件。
2.根据权利要求1所述的方法,其特征在于,在根据所述第二TP容值数据和所述ACC数据对所述第二次操作对应的输入事件进行识别之后,还包括:
将所述ACC传感器的采样频率调整至所述第一频率。
3.根据权利要求1所述的方法,其特征在于,根据所述第一TP容值数据对所述第一次操作对应的输入事件进行识别,包括:
在指关节敲击事件的识别线程的状态为第一状态时,根据所述第一TP容值数据对所述第一次操作对应的输入事件进行识别;其中,所述第一状态用于指示等待对第一次操作对应的输入事件进行识别;
在识别到所述第一次操作对应的输入事件为指关节敲击事件时,还包括:
将所述识别线程的状态更新为第二状态;其中,所述第二状态用于指示等待对第二次操作对应的输入事件进行识别;
根据所述第二TP容值数据和所述ACC数据对所述第二次操作对应的输入事件进行识别,包括:
在指关节敲击事件的识别线程的状态为第二状态时,根据所述第二TP容值数据和所述ACC数据对所述第二次操作对应的输入事件进行识别;
在对所述第二次操作对应的输入事件完成识别后,将所述识别线程的状态复位至所述第一状态。
4.根据权利要求3所述的方法,其特征在于,还包括:
在识别到所述第一次操作对应的输入事件为非指关节敲击事件时,将所述识别线程的状态复位至所述第一状态。
5.根据权利要求4所述的方法,其特征在于,还包括:
在识别到所述第一次操作对应的输入事件为非指关节敲击事件时,根据所述第一TP容值数据确定与所述第一次操作对应的输入事件为指腹点击事件。
6.根据权利要求3所述的方法,其特征在于,响应于第一次操作时,还包括:
启动定时器;其中,所述定时器的时长用于指示用户完成双击操作时所允许的两次操作时间间隔的最大值;
响应于第二次操作,获取与所述第二次操作对应的第二TP容值数据和ACC数据;
在所述定时器未超时时,响应于第二次操作,获取与所述第二次操作对应的第二TP容值数据和ACC数据,并关闭所述定时器。
7.根据权利要求6所述的方法,其特征在于,在将所述ACC传感器的采样频率调整至第二频率之后,还包括:
在所述定时器超时时,将所述ACC传感器的采样频率调整至所述第一频率。
8.根据权利要求6所述的方法,其特征在于,还包括:
在所述定时器超时时,将所述识别线程的状态复位至所述第一状态。
9.根据权利要求1所述的方法,其特征在于,所述第一次操作和所述第二次操作均为单指关节敲击操作时,所述指关节双击事件为单指关节双击操作;
所述第一次操作和所述第二次操作均为双指关节敲击操作时,所述指关节双击事件为双指关节双击操作。
10.根据权利要求1所述的方法,其特征在于,确定与所述第一次操作和所述第二次操作对应的输入事件为指关节双击事件,包括:
如果根据所述第二TP容值数据确定TP报点数量为1个,则确定与所述第一次操作和所述第二次操作对应的输入事件为单指关节双击事件;
如果根据所述第二TP容值数据确定TP报点数量为2个,则确定与所述第一次操作和所述第二次操作对应的输入事件为双指关节双击事件。
11.根据权利要求1所述的方法,其特征在于,还包括:
在识别到所述第二次操作对应的输入事件为非指关节敲击事件时,根据所述第二TP容值数据确定与所述第一次操作和所述第二次操作对应的输入事件为指腹点击事件。
12.根据权利要求1所述的方法,其特征在于,还包括:
在根据所述第一TP容值数据确定指关节敲击屏幕后在所述屏幕上滑动未离开所述屏幕,则根据所述第一TP容值数据确定与所述第一次操作对应的输入事件为指关节截图事件;其中,所述指关节截图事件包括指关节滚动截图事件和指关节区域截图事件。
13.根据权利要求1-12任一项所述的方法,其特征在于,根据所述第一TP容值数据对所述第一次操作对应的输入事件进行识别,包括:
将所述第一TP容值数据输入至预先训练得到的第一算法模型,得到所述第一次操作对应的输入事件是否为指关节敲击事件的识别结果;
根据所述第二TP容值数据和所述ACC数据对所述第二次操作对应的输入事件进行识别,包括:
将所述第二TP容值数据和所述ACC数据输入至预先训练得到的第二算法模型,得到所述第二次操作对应的输入事件是否为指关节敲击事件的识别结果。
14.根据权利要求1-12任一项所述的方法,其特征在于,所述第一频率为100Hz,所述第二频率为1600Hz。
15.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序存储在所述存储器上,当所述计算机程序被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1-14中任一项所述的指关节敲击事件的识别方法。
16.一种计算机可读存储介质,包括计算机程序,其特征在于,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1-14中任一项所述的指关节敲击事件的识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211206588.7A CN116737290B (zh) | 2022-09-30 | 2022-09-30 | 指关节敲击事件的识别方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211206588.7A CN116737290B (zh) | 2022-09-30 | 2022-09-30 | 指关节敲击事件的识别方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116737290A true CN116737290A (zh) | 2023-09-12 |
CN116737290B CN116737290B (zh) | 2024-08-20 |
Family
ID=87912088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211206588.7A Active CN116737290B (zh) | 2022-09-30 | 2022-09-30 | 指关节敲击事件的识别方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116737290B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117667240A (zh) * | 2024-02-01 | 2024-03-08 | 荣耀终端有限公司 | 电子设备的唤醒方法、电子设备和计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103207695A (zh) * | 2012-01-16 | 2013-07-17 | 联想(北京)有限公司 | 控制触摸屏采样率的方法及电子设备 |
CN105264467A (zh) * | 2013-06-07 | 2016-01-20 | 精工爱普生株式会社 | 电子设备及点击操作检测方法 |
CN106445120A (zh) * | 2016-09-05 | 2017-02-22 | 华为技术有限公司 | 触控操作的识别方法及装置 |
CN106445235A (zh) * | 2016-09-30 | 2017-02-22 | 维沃移动通信有限公司 | 一种触摸起始位置识别方法及移动终端 |
CN113721785A (zh) * | 2021-07-07 | 2021-11-30 | 荣耀终端有限公司 | 一种触摸屏采样率的调整方法及电子设备 |
-
2022
- 2022-09-30 CN CN202211206588.7A patent/CN116737290B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103207695A (zh) * | 2012-01-16 | 2013-07-17 | 联想(北京)有限公司 | 控制触摸屏采样率的方法及电子设备 |
CN105264467A (zh) * | 2013-06-07 | 2016-01-20 | 精工爱普生株式会社 | 电子设备及点击操作检测方法 |
CN106445120A (zh) * | 2016-09-05 | 2017-02-22 | 华为技术有限公司 | 触控操作的识别方法及装置 |
CN106445235A (zh) * | 2016-09-30 | 2017-02-22 | 维沃移动通信有限公司 | 一种触摸起始位置识别方法及移动终端 |
CN113721785A (zh) * | 2021-07-07 | 2021-11-30 | 荣耀终端有限公司 | 一种触摸屏采样率的调整方法及电子设备 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117667240A (zh) * | 2024-02-01 | 2024-03-08 | 荣耀终端有限公司 | 电子设备的唤醒方法、电子设备和计算机可读存储介质 |
CN117667240B (zh) * | 2024-02-01 | 2024-07-05 | 荣耀终端有限公司 | 电子设备的唤醒方法、电子设备和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116737290B (zh) | 2024-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115866121B (zh) | 应用界面交互方法、电子设备和计算机可读存储介质 | |
WO2021185250A1 (zh) | 图像处理方法及装置 | |
KR20160024143A (ko) | 영상 처리 방법 및 전자 장치 | |
CN110839128B (zh) | 拍照行为检测方法、装置及存储介质 | |
CN108132790B (zh) | 检测无用代码的方法、装置及计算机存储介质 | |
CN113805487B (zh) | 控制指令的生成方法、装置、终端设备及可读存储介质 | |
WO2021000943A1 (zh) | 一种指纹开关的管理方法及装置 | |
WO2021057699A1 (zh) | 具有柔性屏幕的电子设备的控制方法及电子设备 | |
CN113220176B (zh) | 基于微件的显示方法、装置、电子设备及可读存储介质 | |
CN112749590B (zh) | 目标检测方法、装置、计算机设备和计算机可读存储介质 | |
CN116737290B (zh) | 指关节敲击事件的识别方法及电子设备 | |
CN113391775A (zh) | 一种人机交互方法及设备 | |
CN116048350B (zh) | 一种截屏方法及电子设备 | |
US20220317841A1 (en) | Screenshot Method and Related Device | |
CN113821129B (zh) | 一种显示窗口控制方法及电子设备 | |
CN115390738A (zh) | 卷轴屏开合方法及相关产品 | |
CN115480629A (zh) | 一种多界面显示的方法和电子设备 | |
CN116027940B (zh) | 截屏方法、设备及存储介质 | |
CN114764300B (zh) | 一种窗口页面的交互方法、装置、电子设备以及可读存储介质 | |
CN109857536A (zh) | 多任务显示方法、系统、移动终端及存储介质 | |
CN117354624B (zh) | 摄像头切换方法、设备以及存储介质 | |
US20240126404A1 (en) | Information Display Method and Electronic Device | |
WO2023124129A1 (zh) | 显示二维码的方法和电子设备 | |
CN116033347A (zh) | 定位处理方法、系统及相关装置 | |
CN118444832A (zh) | 一种触控操作方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |