CN113515217A - 一种触控处理方法、装置、存储介质及电子设备 - Google Patents
一种触控处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113515217A CN113515217A CN202110378625.1A CN202110378625A CN113515217A CN 113515217 A CN113515217 A CN 113515217A CN 202110378625 A CN202110378625 A CN 202110378625A CN 113515217 A CN113515217 A CN 113515217A
- Authority
- CN
- China
- Prior art keywords
- touch
- parameter information
- state
- displacement
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000006073 displacement reaction Methods 0.000 claims abstract description 166
- 238000000034 method Methods 0.000 claims abstract description 79
- 238000003825 pressing Methods 0.000 claims description 39
- 238000012544 monitoring process Methods 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 239000003550 marker Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 40
- 230000004044 response Effects 0.000 abstract description 24
- 230000000875 corresponding effect Effects 0.000 description 80
- 230000008569 process Effects 0.000 description 50
- 230000006870 function Effects 0.000 description 37
- 230000009471 action Effects 0.000 description 35
- 230000001276 controlling effect Effects 0.000 description 13
- 230000001960 triggered effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000007726 management method Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000013480 data collection Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 235000009470 Theobroma cacao Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 244000240602 cacao Species 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000009257 reactivity Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Abstract
本申请实施例公开了一种触控处理方法、装置、存储介质及电子设备,其中,方法包括:采用本申请实施例,监测到针对触控屏所输入的触控操作,采集所述触控操作对应的至少两帧触控参数信息,基于第一参数信息和第二参数信息确定当前的触控位移,并获取当前所述触控操作对应的触控标记状态,所述第一参数信息为所述触控操作当前的触控参数信息,所述第二参数信息为所述第一触控参数信息上一帧的触控参数信息;基于所述触控位移以及所述触控标记状态,控制操作系统确定当前所述触控操作的触控状态,可以提高触控处理的准确性,降低触控误响应。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种触控处理方法、装置、存储介质及电子设备。
背景技术
触控屏已经成为电子设备,尤其是移动电子设备的标配器件,触控屏可由设备底层处理器控制,用户触摸上述触控屏的屏幕时,会引起的电容变化,通过检测用户触摸屏的屏幕引起的电容变化,可获取到用户触控触控屏时的触控参数变化情况,进而可基于触控参数变化情况实现触控功能的响应。
发明内容
本申请实施例提供了一种触控处理方法、装置、存储介质及电子设备,所述技术方案如下:
第一方面,本申请实施例提供了一种触控处理方法,所述方法包括:
监测到针对触控屏所输入的触控操作,采集所述触控操作对应的至少两帧触控参数信息;
基于第一参数信息和第二参数信息确定当前的触控位移,并获取当前所述触控操作对应的触控标记状态,所述第一参数信息为所述触控操作当前的触控参数信息,所述第二参数信息为所述第一触控参数信息上一帧的触控参数信息;
基于所述触控位移以及所述触控标记状态,控制操作系统确定当前所述触控操作的触控状态。
第二方面,本申请实施例提供了一种触控处理装置,所述装置包括:
触控操作监测模块,用于监测到针对触控屏所输入的触控操作,采集所述触控操作对应的至少两帧触控参数信息;
状态位移确定模块,用于基于第一参数信息和第二参数信息确定当前的触控位移,并获取当前所述触控操作对应的触控标记状态,所述第一参数信息为所述触控操作当前的触控参数信息,所述第二参数信息为所述第一触控参数信息上一帧的触控参数信息;
触控状态确定模块,用于基于所述触控位移以及所述触控标记状态,控制操作系统确定当前所述触控操作的触控状态。第三方面,本申请实施例提供一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行上述的方法步骤。
第四方面,本申请实施例提供一种电子设备,可包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括:
在本申请一个或多个实施例中,终端可监测到针对触控屏所输入的触控操作,采集所述触控操作对应的至少两帧触控参数信息,通过基于所述触控操作当前的第一参数信息和上一帧的第二参数信息确定当前的触控位移,并获取当前所述触控操作对应的触控标记状态,然后可基于所述触控位移以及所述触控标记状态,控制操作系统确定当前所述触控操作的触控状态。通过结合触控位移和触控标记状态来控制操作系统触控状态的判决逻辑,可以提高触控处理的准确性,降低触控误响应,以及通过优化触控处理流程可提高系统不同应用功能的兼容性和触控响应准确性,提高用户体验触控体验;以及可覆盖到触控操作过程中用户非主观抬起接触物(手指)的情况,避免因此造成的诸如导航手势悬停等功能逻辑的误判,可提高终端识别触控操作的过程中用户停止滑动、自然抬起、主观抬起等触控场景下的触控应用,大幅提高了触控的准确性,避免错误的触控响应。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种触控处理方法的流程示意图;
图2是本申请实施例提供的触控处理方法所涉及的一种触控场景示意图;
图3是本申请实施例提供的另一种触控处理方法的流程示意图;
图4是本申请实施例提供的另一种触控处理方法的流程示意图;
图5是本申请实施例提供的一种触控处理装置的结构示意图;
图6是本申请实施例提供的一种触控状态确定模块的结构示意图;
图7是本申请实施例提供的另一种触控处理装置的结构示意图;
图8是本申请实施例提供的一种电子设备的结构示意图;
图9是本申请实施例提供的操作系统和用户空间的结构示意图;
图10是图8中安卓操作系统的架构图;
图11是图8中IOS操作系统的架构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。在本申请的描述中,需要说明的是,除非另有明确的规定和限定,“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
下面结合具体的实施例对本申请进行详细说明。
在一个实施例中,如图1所示,特提出了一种触控处理方法,该方法可依赖于计算机程序实现,可运行于基于冯诺依曼体系的触控处理装置上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。所述触控处理装置可以为终端,包括但不限于:个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中终端设备可以叫做不同的名称,例如:用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、5G网络或未来演进网络中的终端设备等。
具体的,该触控处理方法包括:
S101:监测到针对触控屏所输入的触控操作,采集所述触控操作对应的至少两帧触控参数信息。
所述触控操作可以是一种针对显示对象(图标、元素等)滑动操作、可以是一种针对显示对象拖拽操作、可以是一种针对显示对象的捏合操作(如多指捏合操作)等等,在一些实施例中,本申请中触控操作通常可以理解为持续触控时间(大于某一时间阈值)较长的一类操作。
本申请对用户针对触控屏所输入的触控操作所对应的整个触控过程进行监控,通常采集每个监控时间点对应的各帧触控参数信息,来判决触控操作的触控状态,实现对触控操作的精准识别,避免错误响应。
可理解为在某个监控时间点触控操作对应的触控状态,如确定当前触控操作是否处于按压状态、确定当前触控操作是否处于抬起状态(用户控制手指结束触控从手指按压转为手指抬起)。在一些实施例中,本申请所涉及的触控处理方法可基于人体工程学维度,创造性的深度挖掘用户针对触控屏所输入的触控操作整个过程中的各影响因子,避免由于客观因素(如用户在触控过程中非主观的抬起手指)导致的机器触控误识别的状况。在实际应用中,在用户针对终端的触控屏输入触控操作(如滑动操作)的过程中,假设在t0时间点由于用户客观因素正常抬起手指,在t1时间点控制手指落下继续触控操作(如继续滑动操作),那么在这个过程中,用户通常在t0时间点主观意图上(或不会主观意识)抬起手指而中断当前的触控操作。此时终端通过在t1时间点采集的触控参数信息通常会误判用户主观输入触控操作的触控状态,而造成触控处理准确性较低,导致触控误响应。
在一种具体的实施场景中,终端监测针对触控屏所输入的触控操作,监测过程基于各监测时间点采集所述触控操作对应的至少两帧触控参数信息进行,终端所搭载的操作系统常见的应用处理用户的诸如点击、滑动等触控操作基本原理过程为:
通过监听操作系统底层上报的input事件类型,包括但不限于:对应的ACTION_DOWN事件、ACTION_MOVE事件、ACTION_UP事件。
ACTION_DOWN事件:
用户控制手指触控终端的触控屏,此时终端通过触控传感器可以采集到所述触控操作对应的第一帧触控参数信息,第一帧触控参数信息对应的按下状态,此时对应的是ACTION_DOWN事件;可以理解为终端基于第一帧触控参数信息会触发ACTION_DOWN事件。
进一步的,示意性的,当用户控制手指第一帧按下的时候则触发ACTION_DOWN事件,接着终端通过触控传感器可以采集到所述触控操作对应的第i(i大于1)帧数据(也即第i帧触控参数信息),诸如后续的长按、移动、拖拽等触控操作均对应触发ACTION_MOVE事件:
ACTION_MOVE事件:
示意性的,手指第二帧以及后面连续数据帧按下的状态是ACTION_MOVE事件。
进一步的,示意性的,触控操作对应的结束触控最后一帧数据(触控参数信息)通常会触发操作系统的ACTION_UP事件,可理解为手指抬起的状态是ACTION_UP事件。
另外,在上述各input事件中,触发某一input事件类型的事件,会随之携带监测到的数据(触控参数信息)进行操作系统上报,进而基于这些事件写到的数据实现响应操作对应的操作功能,如导航手势悬停功能、返回主页面功能、点击应用功能、拖动应用功能等等。其中,具体涉及到的根据事件携带的(触控参数信息)识别某个逻辑功能进而响应该逻辑功能的技术特征可基于实际环境确定,此处不再释义。本申请主要对:“诸如用户在触控操作的过程中自然抬起手指而实际上主观上不意图结束当前的触控操作”触控处理过程进行优化,通过考虑到类似上述非主观操作导致的自然抬起对终端触控处理的影响,来提升触控处理的准确性,避免后续由于误识别在触控操作状态识别过程中由于用户自然抬起手指导致的逻辑功能的误判以及误响应。
在一些实施场景中,当通过手指输入触控操作来点击一个触控对象的时候,触发ACTION_DOWN事件,ACTION_MOVE事件、ACTION_UP事件。其中,点击操作的话,若触发操作系统的ACTION_MOVE事件,ACTION_MOVE事件内携带的数据(触控参数信息)中的触控坐标信息是不变化的,通常基于此来识别用户针对点击对象(如应用)的点击响应。而在触控该触控对象进行移动的场景下,在这个监测过程中,监测到的在每个数据采集数据点监测到的触控参数信息可用于识别触控对象的滑动响应,具体实施中,触控处理主要需准确识别到用户主观处于抬起状态或主观处于抬起状态,由于客观因素导致的手指自然抬起则可采用本申请涉及的触控处理方法消除或降低该影响。
进一步的,本申请涉及的触控处理方法来判决触控操作当前的触控状态,如用户触控按压对应的按压状态、用户触控抬起(或松开)时对应的抬起状态(或松开状态)。在用户输入触控操作(如移动、拖动、拖拽)的过程中,采集的各帧触控参数信息所包含的触控参数通常相对于上一帧数据是变化的,此时,就会终端操作系统的底层(如底层硬件驱动)在每次采集完数据之后均会上报至操作系统,若当前触控参数信息所包含的触控参数通常相对于上一帧数据是变化的,就触发终端操作系统的ACTION_MOVE事件,ACTION_MOVE事件可以携带触控参数信息,进一步的ACTION_MOVE事件触发之后,基于操作系统安装或运行的各应用或服务进程可基于ACTION_MOVE事件中的触控参数信息进行逻辑功能的识别,进行响应相应的逻辑功能。比如滑动联系人应用、滑动桌面、滑动新闻页面等逻辑功能。
具体的,终端包含触控屏,该触控屏用于接收用户使用手指、触摸笔等任何适合的物体在其上或附近的触控操作,以及显示各个应用程序的用户界面。触控屏通常设置在终端的前面板。触控屏可被设计成为全面屏、曲面屏或异型屏。触控屏还可被设计成为全面屏与曲面屏的结合,异型屏与曲面屏的结合,本申请实施例对此不加以限定。
在一种具体的实施方式中,当用户采用手指触控的方式针对触控屏输入触控操作,如针对某个触控对象的触控滑动操作,当用户通过手指触控终端上的触摸屏时,触摸位置的电容参数发生变化,终端的触摸框根据电容的变化,确定手指在触控屏当前触控操作所感测到的触控参数信息。
示意性的,终端含有触控屏,触摸屏具有感应用户触摸操作的功能。所述触控屏可以是如图2所示的一种触控屏,触控屏的结构至少包括4个部分:屏幕玻璃层a,传感器薄膜b,显示面板层c,控制器板d,其中传感器薄膜b有触摸感应器层,含有多种感应器,例如压力传感器、位置感应器、电参数感应器等等,终端的触控屏能够通过其中的传感器获取接触物触控其触控位置,触摸感应器层可感知其触控位置的参数变化,具体实施中,可根据触控位置的电容等参数的变化,确定接触物(如手指)在触控屏当前触控操作所感测到的触控参数信息。
进一步的,在用户持续触控的过程中,也即触控操作未触控结束时,终端可基于一定的监测间隔来采集当前触控操作对应的触控参数信息。
其中,触控参数信息可以是触控坐标、触控压力、当前触控时间、触控物体(接触手指)的事件信息,等等。
其中,触控物体(接触手指)的事件信息包括但不限于:
ABS_MT_POSITION_X:接触椭圆中心的X表面坐标;
ABS_MT_POSITION_Y:接触椭圆中心的Y表面坐标;
ABS_MT_TOOL_TYPE:接触工具的类型,如手指、触控笔。通常情况下是手指;
ABS_MT_ORIENTATION:椭圆形的方向;
ABS_MT_TOUCH_MINOR接触面短轴长度,单位是表面单位。如果接触面是圆形的,此事件可以被忽略;
ABS_MT_WIDTH_MAJOR:接触工具的长轴长度,单位是表面单位。
ABS_MT_WIDTH_MINOR:接触工具的短轴长度,单位是表面单位。
ABS_MT_TRACKING_ID:TRACKING_ID标识了一个初始的接触,贯穿整个触控生命周期。
S102:基于第一参数信息和第二参数信息确定当前的触控位移,并获取当前所述触控操作对应的触控标记状态。
所述第一参数信息为所述触控操作当前的触控参数信息,所述第二参数信息为所述第一触控参数信息上一帧的触控参数信息。
示意性的,假设当前触控数据采集的时间点为时间点t,则在当前时间点t获取的所述触控操作的一帧触控参数信息(触控坐标、触控压力、当前触控时间)即为第一参数信息;时间点t对应的上一帧采集的时间点记为时间点t-1,则在时间点t-1采集的一帧触控参数信息即为第二参数信息。
在具体实施中,如果在触控操作对应的滑动过程中在时间点t用户客观正常抬起手指的话,则时间点t对应获取到的第一参数信息,与时间点t-1采集的第二参数信息,此时通常这两帧触控参数信息中的触控点坐标是没有变化的,而诸如ABS_MT_POSITION_X、ABS_MT_POSITION_Y、ABS_MT_WIDTH_MAJOR等部分或全部触控物体(接触手指)的事件信息会产生变化,此时终端操作系统底层以第一参数信息上报至操作系统就会触发ACTION_MOVE事件,这样就会导致触控处理不准确此时用户主观上时未结束触控操作,因此造成触控处理不准确,影响用户触控体验。通过执行本申请涉及的所述触控处理方法可提升准确性。
具体的,终端可基于第一参数信息和第二参数信息确定当前的触控位移,具体而言,可提取第一参数信息对应的第一触控坐标和第二参数信息对应的第二触控坐标,基于第一触控坐标和第二触控坐标计算坐标间的距离,从而确定当前的触控位移。
进一步的,在触控操作进行中,终端操作系统底层可基于每个数据采集时间点定时采集电容数据,基于电容数据确定触控参数信息,然后基于触控参数信息来判断当前触控操作对应的触控状态,进而对这一数据采集时间点的触控操作的触控状态进行标记,如检测到时按下状态则标记这一监测时间点触控操作对应的触控状态为按下标记状态,示意性的可记录down_major_flag=1,进行触控标记状态的标记;如检测到时抬起状态则标记这一监测时间点触控操作对应的触控状态为抬起标记状态,示意性的可记录down_major_flag=0,进行触控标记状态的标记。
可选的,基于触控参数信息来判断当前触控操作对应的触控状态可以是基于触控压力、ABS_MT_TOUCH_MINOR、ABS_MT_WIDTH_MAJOR等等。例如,触控压力大于某一压力阈值是,通常是按压状态;反之则为抬起状态。例如ABS_MT_TOUCH_MINOR的值不为0可认为是按压状态,反之则为抬起状态等等。
S103:基于所述触控位移以及所述触控标记状态,控制操作系统确定当前所述触控操作的触控状态。
在本申请中涉及的触控标记状态通常可包括按压标记状态和抬起标记状态。
操作系统确定的触控操作的触控状态可包括按压状态和抬起状态。
具体的,终端基于实际应用环境针对触控位移设置位移阈值,基于设置的位移阈值和当前操作系统对该触控操作的触控标记状态实现对触控操作的触控状态的判决;实际实施中,终端可根据所述触控位移与位移阈值以及所述触控标记状态,确定目标参数信息;以目标参数信息为参考,来确定是否基于目标参数信息触发ACTION_MOVE事件,进一步的,当基于目标参数信息触发ACTION_MOVE事件时,此时通常终端会控制操作系统确定所述触控操作的触控状态,触控状态可为按压状态,触控状态也可为抬起状态;
根据一些实施例中,当确定所述触控位移小于或等于位移阈值且所述触控标记状态为按压标记状态,终端此时基于触控位移与位移阈值以及所述触控标记状态可识别到为用户输入操控操作过程中自然抬起接触物(如手指),为了避免误响应,此时终端可将第二参数信息也即第一触控参数信息上一帧的触控参数信息作为当前操作系统底层需要上报的目标参数信息,这样终端可控制系统在基于目标参数信息进行状态识别阶段,由于上一时间点的第二参数信息与当前时间点的目标参数信息这两帧触控参数信息未发生改变,此时不会触发ACTION_MOVE事件,可控制操作系统就不会对触控操作的触控状态进行更改,在一些实施方式中,由于上一时间点对应的触控操作的触控状态为按压状态,此时终端控制操作系统不进行更改,因此当前时间点基于目标参数信息确定触控操作的触控状态为按压状态;从而可以避免误响应。
根据一些实施例中,当不满足“所述触控位移小于或等于位移阈值且所述触控标记状态为按压标记状态”的条件时,终端此时可将当前的第一参数信息作为目标参数信息进行上报,由于上一时间点的第二参数信息与当前时间点的目标参数信息这两帧触控参数信息通常发生了改变,此时会触发操作系统ACTION_MOVE事件,由终端控制操作系统进一步对ACTION_MOVE事件携带的目标参数信息进行触控状态的判决,在一些实施场景中,终端控制操作系统进一步对ACTION_MOVE事件携带的目标参数信息进行触控状态的判决之后,触控操作的触控状态可以是抬起状态,如此时用户时主观抬起接触物(如说只)的且触控位移大于位移阈值,又如终端在当前时间点的触控标记状态为抬起标记状态;在一些实施场景中,终端控制操作系统进一步对ACTION_MOVE事件携带的目标参数信息进行触控状态的判决之后,触控操作的触控状态可以是按压状态,如用户按压屏幕不松开的场景中此时的触控位移大于位移阈值。在一些实施方式中,不满足“所述触控位移小于或等于位移阈值且所述触控标记状态为按压标记状态”的条件的场景,可基于实际应用场景在触发ACTION_MOVE事件之后进行触控状态的判决,此处不再赘述。
在本申请实施例中,终端可监测到针对触控屏所输入的触控操作,采集所述触控操作对应的至少两帧触控参数信息,通过基于所述触控操作当前的第一参数信息和上一帧的第二参数信息确定当前的触控位移,并获取当前所述触控操作对应的触控标记状态,然后可基于所述触控位移以及所述触控标记状态,控制操作系统确定当前所述触控操作的触控状态。通过结合触控位移和触控标记状态来控制操作系统触控状态的判决逻辑,可以提高触控处理的准确性,降低触控误响应,以及通过优化触控处理流程可提高系统不同应用功能的兼容性和触控响应准确性,提高用户体验触控体验;以及可覆盖到触控操作过程中用户非主观抬起接触物(手指)的情况,避免因此造成的诸如导航手势悬停等功能逻辑的误判,可提高终端识别触控操作的过程中用户停止滑动、自然抬起、主观抬起等触控场景下的触控应用,大幅提高了触控的准确性,避免错误的触控响应。
请参见图3,图3是本申请提出的一种触控处理方法的另一种实施例的流程示意图。具体的:
S201:监测到针对触控屏所输入的触控操作,采集所述触控操作对应的至少两帧触控参数信息;
具体可参见步骤S101,此处不再赘述。
S202:基于第一参数信息和第二参数信息确定当前的触控位移,并获取当前所述触控操作对应的触控标记状态,所述第一参数信息为所述触控操作当前的触控参数信息,所述第二参数信息为所述第一触控参数信息上一帧的触控参数信息;
具体可参见步骤S102,此处不再赘述。
S203:确定所述触控位移小于或等于位移阈值且所述触控标记状态为按压标记状态,将第二参数信息作为目标参数信息;
S204:基于所述目标参数信息,控制操作系统确定所述触控操作为按压状态。
根据一些实施例中,终端可基于第一参数信息和第二参数信息确定当前的触控位移,具体而言,可提取第一参数信息对应的第一触控坐标和第二参数信息对应的第二触控坐标,基于第一触控坐标和第二触控坐标计算坐标间的距离,从而确定当前的触控位移。
根据一些实施例中,触控操作进行中,终端操作系统底层可基于每个数据采集时间点定时采集电容数据,基于电容数据确定触控参数信息,然后基于触控参数信息来判断当前触控操作对应的触控状态,进而对这一数据采集时间点的触控操作的触控状态进行标记,如检测到时按下状态则标记这一监测时间点触控操作对应的触控状态为按下标记状态,示意性的可记录down_major_flag=1,进行触控标记状态的标记;如检测到时抬起状态则标记这一监测时间点触控操作对应的触控状态为抬起标记状态,示意性的可记录down_major_flag=0,进行触控标记状态的标记。
具体的,终端获取当前所述触控操作对应的触控标记状态,若触控标记状态down_major_flag=1,则此时确定终端操作系统底层的触摸屏感应阶段对触控操作标记为按压标记状态;在一些实施方式中,终端获取到的针对触控操作的按压标记状态通常是上一监测时间点操作系统确定的触控标记状态,如操作系统基于第二参数信息确定的触控标记状态。
在本申请中涉及的触控标记状态通常可包括按压标记状态和抬起标记状态。
操作系统确定的触控操作的触控状态可包括按压状态和抬起状态。
根据一些实施例,终端基于实际应用环境针对触控位移设置位移阈值,基于设置的位移阈值和当前操作系统对该触控操作的触控标记状态实现对触控操作的触控状态的判决;
实际实施中,终端可根据所述触控位移与位移阈值以及所述触控标记状态,确定目标参数信息;以目标参数信息为参考,来确定是否基于目标参数信息触发ACTION_MOVE事件,进一步的,当基于目标参数信息触发ACTION_MOVE事件时,此时通常终端会控制操作系统确定所述触控操作的触控状态,触控状态可为按压状态,触控状态也可为抬起状态;
在本实施例中,当确定所述触控位移小于或等于位移阈值且所述触控标记状态为按压标记状态,终端此时基于触控位移与位移阈值以及所述触控标记状态可识别到为用户输入操控操作过程中自然抬起接触物(如手指),为了避免误响应,此时终端可将第二参数信息也即第一触控参数信息上一帧的触控参数信息作为当前操作系统底层需要上报的目标参数信息,这样终端可控制系统在基于目标参数信息进行状态识别阶段,由于上一时间点的第二参数信息与当前时间点的目标参数信息这两帧触控参数信息未发生改变,此时不会触发ACTION_MOVE事件,可控制操作系统就不会对触控操作的触控状态进行更改,在一些实施方式中,由于上一时间点对应的触控操作的触控状态为按压状态,此时终端控制操作系统不进行更改,因此当前时间点基于目标参数信息确定触控操作的触控状态为按压状态;从而可以避免误响应。
其中,前述位移阈值可理解为针对触控位移设置的临界值或门限值,在本申请中可基于位移阈值来实现对触控操作过程中用户非主观抬起接触物(手指)的判决;在一些实施方式中,所述位移阈值可以是以像素点为参考设置的一个阈值范围,如位移阈值可以是基于实际应用环境设置的一个像素点所对应的位移范围。
在一种具体的实施场景中,终端确定所述触控位移小于或等于位移阈值且所述触控标记状态为按压标记状态之后,可以生成携带状态指示标记的目标参数信息;所述状态指示标记用于指示操作系统标记所述触控操作的触控状态为按压状态。实际实施中,终端确定所述触控位移小于或等于位移阈值且所述触控标记状态为按压标记状态之后,可以将第一参数信息作为目标参数信息,目标参数信息且写到状态指示标记,可理解的是状态指示标记表征当前用户输入操控操作过程中自然抬起接触物(如手指),则对于终端操作系统而言仅需确定目标参数信息是否携带状态指示标记,若携带状态指示标记可标记所述触控操作的触控状态为按压状态。
S205:(并203)确定所述触控位移大于位移阈值,和/或所述触控标记状态为抬起标记状态,将第一参数信息作为目标参数信息;
S206:(并205)确定所述触控位移大于位移阈值,且所述触控标记状态为按压标记状态,将第一参数信息作为目标参数信息。
根据一些实施例中,1、若所述触控位移大于位移阈值,此时通常不为触控操作过程中用户非主观抬起接触物(手指)的情况;以及,2、若所述触控标记状态为抬起标记状态,此时通常不为触控操作过程中用户非主观抬起接触物(手指)的情况,可理解为触控操作过程中用户主观抬起接触物(手指);3、若所述触控位移大于位移阈值,且所述触控标记状态为抬起标记状态,此时通常不为触控操作过程中用户非主观抬起接触物(手指)的情况。4、若所述触控位移小于位移阈值,且所述触控标记状态为抬起标记状态,此时通常不为触控操作过程中用户非主观抬起接触物(手指)的情况。
在上述场景中,此时终端可将第一参数信息作为目标参数信息,无需进行处理;
S207:基于所述目标参数信息,控制操作系统确定当前所述触控操作的触控状态。
具体的,在S207中,此时目标参数信息通常为第一参数信息,在实际应用中,终端操作系统的底层此时可将当前的第一参数信息作为目标参数信息进行上报至操作系统,由于上一时间点的第二参数信息与当前时间点的目标参数信息这两帧触控参数信息通常发生了改变,此时会触发操作系统ACTION_MOVE事件,由终端控制操作系统进一步对ACTION_MOVE事件携带的目标参数信息进行触控状态的判决。进一步的,可基于实际应用场景在触发ACTION_MOVE事件之后进行触控状态的判决,判决过程可基于终端上至少一个功能所对应的触控响应逻辑设定,此处不进行赘述。
在本申请实施例中,。
请参见图4,图4是本申请提出的一种触控处理方法的另一种实施例的流程示意图。具体的:
S301:采集针对当前用户对象的触控个体特征和对象生理特征,基于所述触控个体特征和对象生理特征确定针对触控位移的位移阈值。
所述触控个体特征用于表征独立的个体用户在进行触控操作时其可与其他触控对象区别开的独特征不同,针对用户在触控操作过程中用户非主观的自然抬起接触物时对应的有的用户触控输入特征,日常不同的个体用户其触控个体特征是不一样的,具体可映射到接触物自然抬起频率特征、接触物自然抬起时长特征、接触物自然抬起时触控压力波动参数特征、接触物自然抬起时在屏幕上的位置特征、接触物自然抬起时的应用场景特征(如在游戏应用中自然抬起接触物(手指))等(反馈个体用户在“触控操作过程中用户非主观的自然抬起接触物时)”的触控抬起个体特征中的至少一个,所述触控个体特征还可包括日常触控操作时的触控距离特征、触控速度特征、触控加速度特征、触控方向特征、触控轨迹特征、触控压力特征、接触物与屏幕对应的接触表面特征、受激反应度特征等特征中的至少一个。
所述对象生理特征为个体用户的性别特征、年龄特征、接触物(如手指)表面特征、“血压、血氧、心率”等机体特征等等。其中,触控个体特征的确定一方面可基于个体用户的日常触控操作对应的触控数据确定,也即获取日常触控操作的触控记录数据按照“针对个体用户按照触控个体特征对应的各维度子特征提取规则”提取触控个体特征;一方面,可为个体用户提供针对触控个体特征采集功能,触控个体特征采集功能作为一种人机交互功能,可开发触控个体特征采集时的采集环境,引导个体用户采用触控方式输入一些功能触控操作,通过采集各功能触控操作时的触控数据,按照“针对个体用户按照触控个体特征对应的各维度子特征提取规则”提取触控个体特征。
在本申请中,可基于个体用户的触控个体特征和对象生理特征这两个维度来对触控处理过程进行量化,对用户在触控操作过程中用户非主观的自然抬起接触物时对应的特征场景进一步细粒挖掘,实现针对不同个体用户确定与其相契合的位移阈值,从而根据该位移阈值来实现对接触物在触控操作的过程中非非主观抬起的预测和判决,来提升触控处理的准确性,避免后续由于误识别在触控操作状态识别过程中由于用户自然抬起手指导致的逻辑功能的误判以及误响应。
在一种具体的实施场景中,终端采集针对当前用户对象的触控个体特征和对象生理特征之后,
可以将获取到的触控个体特征和对象生理特征对应的各参数输入至训练好的阈值确定模型中,输出针对触控位移的位移阈值。所述阈值确定模型可由多个已知标注阈值、样本触控个体特征和样本对象生理特征对应的触控参数样本训练得到。
具体的,通过预先从实际应用环境中针对大量不同个体用户获取大量样本数据,提取特征信息,并对所述样本数据(也即触控参数样本)进行标注,对样本数据标“已知注标注阈值”,所述特征信息包含样本触控个体特征和样本对象生理特征对应的各参数,创建初始的阈值确定模型。所述阈值确定模型可以是使用大量的样本数据对初始的阈值确定模型进行训练的,如阈值确定模型可以是基于LR(LogisticRegression,逻辑回归模型)、SVM(Support Vector Machine,支持向量机)、决策树、朴素贝叶斯分类器、CNN(ConvolutionalNeural Network,卷积神经网络)、RNN(Recurrent Neural Networks,递归神经网络)等中的一种或多种实现,基于已经标注标签(档位调节速度以及调节时长)的样本数据对初始的阈值确定模型进行训练,可以得到训练好的阈值确定模型。
更进一步的,本实施例中采用引入误差反向传播算法的DNN-HMM模型创建初始的阈值确定模型,提取特征信息之后,将特征信息以特征向量的形式输入到所述神经网络模型中,所述神经网络模型的训练过程通常由正向传播和反向传播两部分组成,在正向传播过程中,终端输入样本数据对应的特征信息从所述神经网络模型的输入层经过隐层神经元(也称节点)的传递函数(又称激活函数、转换函数)运算后,传向输出层,其中每一层神经元状态影响下一层神经元状态,在输出层计算实际输出值-第一语音标识,计算所述实际输出值与期望输出值的期望误差,基于所述期望误差调整神经网络模型的参数,所述参数包含每一层的权重值和阈值,训练完成后,生成阈值确定模型。
具体的,所述期望误差可以是计算实际输出值与期望输出值的均方误差MSE,均方误差MSE,所述均方误差MSE可以采用如下的公式:
其中,m为输出节点个数,p为训练样本数目,为期望输出值,为实际输出值。
将所述触控个体特征和所述对象生理特征中的至少一种输入至阈值确定模型中,输出针对触控位移的位移阈值,
S302:监测到针对触控屏所输入的触控操作,采集所述触控操作对应的至少两帧触控参数信息;
具体可参见步骤S101,此处不再赘述。
S303:基于第一参数信息和第二参数信息确定当前的触控位移,并获取当前所述触控操作对应的触控标记状态,所述第一参数信息为所述触控操作当前的触控参数信息,所述第二参数信息为所述第一触控参数信息上一帧的触控参数信息;
具体可参见步骤S102,此处不再赘述。
S304:确定所述触控位移小于或等于位移阈值且所述触控标记状态为按压标记状态,获取针对当前用户的状态确定采样点;
其中,所述状态确定采样点在采集所述第一参数信息的下一帧参数信息对应的时间点之前。
具体的,在本申请中设置状态确定采样点用于进一步确定是否为“触控操作过程中用户非主观的自然抬起接触物时)”的场景,通过在确定所述触控位移小于或等于位移阈值且所述触控标记状态为按压标记状态之后,再设置一个监测采样时间点,在该监测采样时间点采集所述触控操作对应的参考参数信息,从而对该参考参数信息再判断,避免误触控处理,提升判决精度。
进一步的,所述状态确定采样点可以是任意设置,只需该状态确定采样点在采集所述第一参数信息的下一帧参数信息对应的时间点之前即可;也可以是基于预先设置的一个时间间隔,基于第一参数信息的采样时间点和该时间间隔相加,确定的状态确定采样点。在一些实施方式中,还可基于触控压力、触控位置等触控特征预先建立参考时间间隔与触控特征的映射关系,实际应用中基于当前第一参数信息的触控特征来确定时间间隔,进而确定状态确定采样点,等等。
S305:在所述状态确定采样点采集所述触控操作对应的参考参数信息,基于所述参考参数信息以及所述第一参数信息确定目标参数信息。
具体的,终端可以计算所述参考参数信息以及所述第一参数信息的差异度,基于差异度来衡量或量化“触控操作过程中用户非主观的自然抬起接触物”的似然性,差异度越小则“触控操作过程中用户非主观的自然抬起接触物”判决越逼近真实情况;其中,可以是参考参数信息对应的各参数与其对应的第一参数信息中参数特征(位移、位置、坐标等触控特征)计算差异特征信息(如差异参数值)之后确定的一个差异评分值,当差异评分值大于设置的差异阈值,此时可认为,判决偏离真实情况,此时可将所述参考参数信息作为目标参数;当差异评分值小于或等于设置的差异阈值,此时可认为,判决逼近真实情况,置信度高,通常此时可认为“触控操作过程中用户非主观的自然抬起接触物”,此时可将所述第二参数信息作为目标参数;
S306:基于所述目标参数信息,控制操作系统确定所述触控操作的触控状态。
具体可参见步骤S103,此处不再赘述。
在本申请实施例中,终端可监测到针对触控屏所输入的触控操作,采集所述触控操作对应的至少两帧触控参数信息,通过基于所述触控操作当前的第一参数信息和上一帧的第二参数信息确定当前的触控位移,并获取当前所述触控操作对应的触控标记状态,然后可基于所述触控位移以及所述触控标记状态,控制操作系统确定当前所述触控操作的触控状态。通过结合触控位移和触控标记状态来控制操作系统触控状态的判决逻辑,可以提高触控处理的准确性,降低触控误响应,以及通过优化触控处理流程可提高系统不同应用功能的兼容性和触控响应准确性,提高用户体验触控体验;以及可覆盖到触控操作过程中用户非主观抬起接触物(手指)的情况,避免因此造成的诸如导航手势悬停等功能逻辑的误判,可提高终端识别触控操作的过程中用户停止滑动、自然抬起、主观抬起等触控场景下的触控应用,大幅提高了触控的准确性,避免错误的触控响应。
下面将结合图5,对本申请实施例提供的触控处理装置进行详细介绍。需要说明的是,图5所示的触控处理装置,用于执行本申请图1~图4所示实施例的方法,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请图1~图6所示的实施例。
请参见图5,其示出本申请实施例的触控处理装置的结构示意图。该触控处理装置1可以通过软件、硬件或者两者的结合实现成为用户终端的全部或一部分。根据一些实施例,该触控处理装置1包括触控操作监测模块11、状态位移确定模块12和触控状态确定模块13,具体用于:
触控操作监测模块11,用于监测到针对触控屏所输入的触控操作,采集所述触控操作对应的至少两帧触控参数信息;
状态位移确定模块12,用于基于第一参数信息和第二参数信息确定当前的触控位移,并获取当前所述触控操作对应的触控标记状态,所述第一参数信息为所述触控操作当前的触控参数信息,所述第二参数信息为所述第一触控参数信息上一帧的触控参数信息;
触控状态确定模块13,用于基于所述触控位移以及所述触控标记状态,控制操作系统确定当前所述触控操作的触控状态。
可选的,如图6所示,所述触控状态确定模块13,包括:
目标参数确定单元131,用于根据所述触控位移与位移阈值以及所述触控标记状态,确定目标参数信息;
触控状态确定单元132,用于基于所述目标参数信息,控制操作系统确定所述触控操作的触控状态。
可选的,所述目标参数确定单元131,具体用于:
确定所述触控位移小于或等于位移阈值且所述触控标记状态为按压标记状态,将第二参数信息作为目标参数信息;
所述触控状态确定单元132,具体用于:基于所述目标参数信息,控制操作系统确定所述触控操作为按压状态。
可选的,所述目标参数确定单元131,具体用于:
确定所述触控位移大于位移阈值,和/或所述触控标记状态为抬起标记状态,将第一参数信息作为目标参数信息;或,确定所述触控位移小于位移阈值,且所述触控标记状态为按压标记状态,将第一参数信息作为目标参数信息。
可选的,如图7所示,所述装置1,还包括:
位移阈值确定模块14,用于采集针对当前用户对象的触控个体特征和对象生理特征,基于所述触控个体特征和对象生理特征确定针对触控位移的位移阈值。
可选的,所述位移阈值确定模块14,具体用于:
将所述触控个体特征和所述对象生理特征中的至少一种输入至阈值确定模型中,输出针对触控位移的位移阈值,所述阈值确定模型由多个已知标注阈值、样本触控个体特征和样本对象生理特征对应的触控参数样本训练得到。
可选的,所述目标参数确定单元131,具体用于:
确定所述触控位移小于或等于位移阈值且所述触控标记状态为按压标记状态,生成携带状态指示标记的目标参数信息;所述状态指示标记用于指示操作系统标记所述触控操作的触控状态为按压状态。
可选的,所述目标参数确定单元131,具体用于:
确定所述触控位移小于或等于位移阈值且所述触控标记状态为按压标记状态,获取针对当前用户的状态确定采样点;
在所述状态确定采样点采集所述触控操作对应的参考参数信息,基于所述参考参数信息以及所述第二参数信息确定目标参数信息;
其中,所述状态确定采样点在采集所述第一参数信息的下一帧参数信息对应的时间点之前。
需要说明的是,上述实施例提供的触控处理装置在执行触控处理方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的触控处理装置与触控处理方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请实施例中,终端可监测到针对触控屏所输入的触控操作,采集所述触控操作对应的至少两帧触控参数信息,通过基于所述触控操作当前的第一参数信息和上一帧的第二参数信息确定当前的触控位移,并获取当前所述触控操作对应的触控标记状态,然后可基于所述触控位移以及所述触控标记状态,控制操作系统确定当前所述触控操作的触控状态。通过结合触控位移和触控标记状态来控制操作系统触控状态的判决逻辑,可以提高触控处理的准确性,降低触控误响应,以及通过优化触控处理流程可提高系统不同应用功能的兼容性和触控响应准确性,提高用户体验触控体验;以及可覆盖到触控操作过程中用户非主观抬起接触物(手指)的情况,避免因此造成的诸如导航手势悬停等功能逻辑的误判,可提高终端识别触控操作的过程中用户停止滑动、自然抬起、主观抬起等触控场景下的触控应用,大幅提高了触控的准确性,避免错误的触控响应。
本申请实施例还提供了一种计算机存储介质,所述计算机存储介质可以存储有多条指令,所述指令适于由处理器加载并执行如上述图1~图4所示实施例的所述触控处理方法,具体执行过程可以参见图1~图4所示实施例的具体说明,在此不进行赘述。
本申请还提供了一种计算机程序产品,该计算机程序产品存储有至少一条指令,所述至少一条指令由所述处理器加载并执行如上述图1~图4所示实施例的所述触控处理方法,具体执行过程可以参见图1~图4所示实施例的具体说明,在此不进行赘述。
请参考图8,其示出了本申请一个示例性实施例提供的电子设备的结构方框图。本申请中的电子设备可以包括一个或多个如下部件:处理器110、存储器120、输入装置130、输出装置140和总线150。处理器110、存储器120、输入装置130和输出装置140之间可以通过总线150连接。
处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个电子设备内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(digital signal processing,DSP)、现场可编程门阵列(field-programmable gate array,FPGA)、可编程逻辑阵列(programmable logicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(centralprocessing unit,CPU)、图像处理器(graphics processing unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(random Access Memory,RAM),也可以包括只读存储器(read-only memory,ROM)。可选地,该存储器120包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等,该操作系统可以是安卓(Android)系统,包括基于Android系统深度开发的系统、苹果公司开发的IOS系统,包括基于IOS系统深度开发的系统或其它系统。存储数据区还可以存储电子设备在使用中所创建的数据比如电话本、音视频数据、聊天记录数据,等。
参见图9所示,存储器120可分为操作系统空间和用户空间,操作系统即运行于操作系统空间,原生及第三方应用程序即运行于用户空间。为了保证不同第三方应用程序均能够达到较好的运行效果,操作系统针对不同第三方应用程序为其分配相应的系统资源。然而,同一第三方应用程序中不同应用场景对系统资源的需求也存在差异,比如,在本地资源加载场景下,第三方应用程序对磁盘读取速度的要求较高;在动画渲染场景下,第三方应用程序则对GPU性能的要求较高。而操作系统与第三方应用程序之间相互独立,操作系统往往不能及时感知第三方应用程序当前的应用场景,导致操作系统无法根据第三方应用程序的具体应用场景进行针对性的系统资源适配。
为了使操作系统能够区分第三方应用程序的具体应用场景,需要打通第三方应用程序与操作系统之间的数据通信,使得操作系统能够随时获取第三方应用程序当前的场景信息,进而基于当前场景进行针对性的系统资源适配。
以操作系统为Android系统为例,存储器120中存储的程序和数据如图10所示,存储器120中可存储有Linux内核层320、系统运行时库层340、应用框架层360和应用层380,其中,Linux内核层320、系统运行库层340和应用框架层360属于操作系统空间,应用层380属于用户空间。Linux内核层320为电子设备的各种硬件提供了底层的驱动,如显示驱动、音频驱动、摄像头驱动、蓝牙驱动、Wi-Fi驱动、电源管理等。系统运行库层340通过一些C/C++库来为Android系统提供了主要的特性支持。如SQLite库提供了数据库的支持,OpenGL/ES库提供了3D绘图的支持,Webkit库提供了浏览器内核的支持等。在系统运行时库层340中还提供有安卓运行时库(Android runtime),它主要提供了一些核心库,能够允许开发者使用Java语言来编写Android应用。应用框架层360提供了构建应用程序时可能用到的各种API,开发者也可以通过使用这些API来构建自己的应用程序,比如活动管理、窗口管理、视图管理、通知管理、内容提供者、包管理、通话管理、资源管理、定位管理。应用层380中运行有至少一个应用程序,这些应用程序可以是操作系统自带的原生应用程序,比如联系人程序、短信程序、时钟程序、相机应用等;也可以是第三方开发者所开发的第三方应用程序,比如游戏类应用程序、即时通信程序、相片美化程序等。
以操作系统为IOS系统为例,存储器120中存储的程序和数据如图10所示,IOS系统包括:核心操作系统层420(Core OS layer)、核心服务层440(Core Services layer)、媒体层460(Media layer)、可触摸层480(Cocoa Touch Layer)。核心操作系统层420包括了操作系统内核、驱动程序以及底层程序框架,这些底层程序框架提供更接近硬件的功能,以供位于核心服务层440的程序框架所使用。核心服务层440提供给应用程序所需要的系统服务和/或程序框架,比如基础(Foundation)框架、账户框架、广告框架、数据存储框架、网络连接框架、地理位置框架、运动框架等等。媒体层460为应用程序提供有关视听方面的接口,如图形图像相关的接口、音频技术相关的接口、视频技术相关的接口、音视频传输技术的无线播放(AirPlay)接口等。可触摸层480为应用程序开发提供了各种常用的界面相关的框架,可触摸层480负责用户在电子设备上的触摸交互操作。比如本地通知服务、远程推送服务、广告框架、游戏工具框架、消息用户界面接口(User Interface,UI)框架、用户界面UIKit框架、地图框架等等。
在图11所示出的框架中,与大部分应用程序有关的框架包括但不限于:核心服务层440中的基础框架和可触摸层480中的UIKit框架。基础框架提供许多基本的对象类和数据类型,为所有应用程序提供最基本的系统服务,和UI无关。而UIKit框架提供的类是基础的UI类库,用于创建基于触摸的用户界面,iOS应用程序可以基于UIKit框架来提供UI,所以它提供了应用程序的基础架构,用于构建用户界面,绘图、处理和用户交互事件,响应手势等等。
其中,在IOS系统中实现第三方应用程序与操作系统数据通信的方式以及原理可参考Android系统,本申请在此不再赘述。
其中,输入装置130用于接收输入的指令或数据,输入装置130包括但不限于键盘、鼠标、摄像头、麦克风或触控设备。输出装置140用于输出指令或数据,输出装置140包括但不限于显示设备和扬声器等。在一个示例中,输入装置130和输出装置140可以合设,输入装置130和输出装置140为触控屏,该触控屏用于接收用户使用手指、触摸笔等任何适合的物体在其上或附近的触摸操作,以及显示各个应用程序的用户界面。触控屏通常设置在电子设备的前面板。触控屏可被设计成为全面屏、曲面屏或异型屏。触控屏还可被设计成为全面屏与曲面屏的结合,异型屏与曲面屏的结合,本申请实施例对此不加以限定。
除此之外,本领域技术人员可以理解,上述附图所示出的电子设备的结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。比如,电子设备中还包括射频电路、输入单元、传感器、音频电路、无线保真(wireless fidelity,WiFi)模块、电源、蓝牙模块等部件,在此不再赘述。
在本申请实施例中,各步骤的执行主体可以是上文介绍的电子设备。可选地,各步骤的执行主体为电子设备的操作系统。操作系统可以是安卓系统,也可以是IOS系统,或者其它操作系统,本申请实施例对此不作限定。
本申请实施例的电子设备,其上还可以安装有显示设备,显示设备可以是各种能实现显示功能的设备,例如:阴极射线管显示器(cathode ray tubedisplay,简称CR)、发光二极管显示器(light-emitting diode display,简称LED)、电子墨水屏、液晶显示屏(liquid crystal display,简称LCD)、等离子显示面板(plasma display panel,简称PDP)等。用户可以利用电子设备101上的显示设备,来查看显示的文字、图像、视频等信息。所述电子设备可以是智能手机、平板电脑、游戏设备、AR(Augmented Reality,增强现实)设备、汽车、数据存储装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、可穿戴设备诸如电子手表、电子眼镜、电子头盔、电子手链、电子项链、电子衣物等设备。
在图8所示的电子设备中,其中电子设备可以是一种终端,处理器110可以用于调用存储器120中存储的触控处理应用程序,并具体执行以下操作:
监测到针对触控屏所输入的触控操作,采集所述触控操作对应的至少两帧触控参数信息;
基于第一参数信息和第二参数信息确定当前的触控位移,并获取当前所述触控操作对应的触控标记状态,所述第一参数信息为所述触控操作当前的触控参数信息,所述第二参数信息为所述第一触控参数信息上一帧的触控参数信息;
基于所述触控位移以及所述触控标记状态,控制操作系统确定当前所述触控操作的触控状态。
在一个实施例中,所述处理器1001在执行所述基于所述触控位移、所述触控标记状态,控制操作系统确定当前所述触控操作的触控状态时,具体执行以下操作:
根据所述触控位移与位移阈值以及所述触控标记状态,确定目标参数信息;
基于所述目标参数信息,控制操作系统确定所述触控操作的触控状态。
在一个实施例中,所述处理器1001在执行所述根据所述触控位移与位移阈值以及所述触控标记状态,确定目标参数信息时,具体执行以下操作:
确定所述触控位移小于或等于位移阈值且所述触控标记状态为按压标记状态,将第二参数信息作为目标参数信息;
所述基于所述目标参数信息,控制操作系统标记所述触控操作的触控状态,包括:
基于所述目标参数信息,控制操作系统确定所述触控操作为按压状态。
在一个实施例中,所述处理器1001在执行所述根据所述触控位移与位移阈值以及所述触控标记状态,确定目标参数信息时,具体执行以下操作:
确定所述触控位移大于位移阈值,和/或所述触控标记状态为抬起标记状态,将第一参数信息作为目标参数信息;或,确定所述触控位移小于位移阈值,且所述触控标记状态为按压标记状态,将第一参数信息作为目标参数信息。
在一个实施例中,所述处理器1001在执行所述监测到针对触控屏所输入的触控操作,采集所述触控操作对应的至少两帧触控参数信息之前,还执行以下操作:
采集针对当前用户对象的触控个体特征和对象生理特征,基于所述触控个体特征和对象生理特征确定针对触控位移的位移阈值。
在一个实施例中,所述处理器1001在执行所述基于所述触控个体特征和对象生理特征确定位移阈值时,具体执行以下操作:
将所述触控个体特征和所述对象生理特征中的至少一种输入至阈值确定模型中,输出针对触控位移的位移阈值,所述阈值确定模型由多个已知标注阈值、样本触控个体特征和样本对象生理特征对应的触控参数样本训练得到。
在一个实施例中,所述处理器1001在执行所述根据所述触控位移与位移阈值以及所述触控标记状态,确定目标参数信息时,具体执行以下操作:
确定所述触控位移小于或等于位移阈值且所述触控标记状态为按压标记状态,生成携带状态指示标记的目标参数信息;所述状态指示标记用于指示操作系统标记所述触控操作的触控状态为按压状态。
在一个实施例中,所述处理器1001在执行所述根据所述触控位移与位移阈值以及所述触控标记状态,确定目标参数信息时,具体执行以下操作:
确定所述触控位移小于或等于位移阈值且所述触控标记状态为按压标记状态,获取针对当前用户的状态确定采样点;
在所述状态确定采样点采集所述触控操作对应的参考参数信息,基于所述参考参数信息以及所述第二参数信息确定目标参数信息;
其中,所述状态确定采样点在采集所述第一参数信息的下一帧参数信息对应的时间点之前。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (10)
1.一种触控处理方法,其特征在于,所述方法包括:
监测到针对触控屏所输入的触控操作,采集所述触控操作对应的至少两帧触控参数信息;
基于第一参数信息和第二参数信息确定当前的触控位移,并获取当前所述触控操作对应的触控标记状态,所述第一参数信息为所述触控操作当前的触控参数信息,所述第二参数信息为所述第一触控参数信息上一帧的触控参数信息;
基于所述触控位移以及所述触控标记状态,控制操作系统确定当前所述触控操作的触控状态。
2.根据权利要求1所述的方法,其特征在于,所述基于所述触控位移、所述触控标记状态,控制操作系统确定当前所述触控操作的触控状态,包括:
根据所述触控位移与位移阈值以及所述触控标记状态,确定目标参数信息;
基于所述目标参数信息,控制操作系统确定所述触控操作的触控状态。
3.根据权利要求2所述的方法,其特征在于,所述根据所述触控位移与位移阈值以及所述触控标记状态,确定目标参数信息,包括:
确定所述触控位移小于或等于位移阈值且所述触控标记状态为按压标记状态,将第二参数信息作为目标参数信息;
所述基于所述目标参数信息,控制操作系统标记所述触控操作的触控状态,包括:
基于所述目标参数信息,控制操作系统确定所述触控操作为按压状态。
4.根据权利要求2所述的方法,其特征在于,所述根据所述触控位移与位移阈值以及所述触控标记状态,确定目标参数信息,包括:
确定所述触控位移大于位移阈值,和/或所述触控标记状态为抬起标记状态,将第一参数信息作为目标参数信息;或,确定所述触控位移小于位移阈值,且所述触控标记状态为按压标记状态,将第一参数信息作为目标参数信息。
5.根据权利要求2所述的方法,其特征在于,所述监测到针对触控屏所输入的触控操作,采集所述触控操作对应的至少两帧触控参数信息之前,还包括:
采集针对当前用户对象的触控个体特征和对象生理特征,基于所述触控个体特征和对象生理特征确定针对触控位移的位移阈值。
6.根据权利要求2所述的方法,其特征在于,所述基于所述触控个体特征和对象生理特征确定位移阈值,包括:
将所述触控个体特征和所述对象生理特征中的至少一种输入至阈值确定模型中,输出针对触控位移的位移阈值,所述阈值确定模型由多个已知标注阈值、样本触控个体特征和样本对象生理特征对应的触控参数样本训练得到。
7.根据权利要求2所述的方法,其特征在于,所述根据所述触控位移与位移阈值以及所述触控标记状态,确定目标参数信息,包括:
确定所述触控位移小于或等于位移阈值且所述触控标记状态为按压标记状态,生成携带状态指示标记的目标参数信息;所述状态指示标记用于指示操作系统标记所述触控操作的触控状态为按压状态。
8.根据权利要求2所述的方法,其特征在于,所述根据所述触控位移与位移阈值以及所述触控标记状态,确定目标参数信息,包括:
确定所述触控位移小于或等于位移阈值且所述触控标记状态为按压标记状态,获取针对当前用户的状态确定采样点;
在所述状态确定采样点采集所述触控操作对应的参考参数信息,基于所述参考参数信息以及所述第二参数信息确定目标参数信息;
其中,所述状态确定采样点在采集所述第一参数信息的下一帧参数信息对应的时间点之前。
9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~8任意一项的方法步骤。
10.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1~8任意一项的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110378625.1A CN113515217A (zh) | 2021-04-08 | 2021-04-08 | 一种触控处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110378625.1A CN113515217A (zh) | 2021-04-08 | 2021-04-08 | 一种触控处理方法、装置、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113515217A true CN113515217A (zh) | 2021-10-19 |
Family
ID=78061448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110378625.1A Pending CN113515217A (zh) | 2021-04-08 | 2021-04-08 | 一种触控处理方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113515217A (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102221935A (zh) * | 2011-07-08 | 2011-10-19 | 邵永军 | 一种软件中间件触摸识别方法 |
CN105739897A (zh) * | 2016-01-29 | 2016-07-06 | 宇龙计算机通信科技(深圳)有限公司 | 一种触控操作处理的方法、装置以及终端 |
CN108021259A (zh) * | 2016-11-03 | 2018-05-11 | 华为技术有限公司 | 一种防误触方法及终端 |
CN108646938A (zh) * | 2018-03-13 | 2018-10-12 | 广东欧珀移动通信有限公司 | 触摸屏的配置方法、装置、终端及存储介质 |
CN110096173A (zh) * | 2019-04-15 | 2019-08-06 | 努比亚技术有限公司 | 移动终端控制方法、移动终端及计算机可读存储介质 |
CN110806831A (zh) * | 2019-09-30 | 2020-02-18 | 华为技术有限公司 | 一种触摸屏的响应方法及电子设备 |
WO2020151518A1 (zh) * | 2019-01-23 | 2020-07-30 | Oppo广东移动通信有限公司 | 应用开启方法、装置、终端及存储介质 |
CN112148148A (zh) * | 2020-09-27 | 2020-12-29 | 北京小米移动软件有限公司 | 触控操作识别方法、装置、移动终端及存储介质 |
CN112306363A (zh) * | 2020-10-30 | 2021-02-02 | 腾讯科技(深圳)有限公司 | 鼠标模拟方法、装置、显示设备和存储介质 |
-
2021
- 2021-04-08 CN CN202110378625.1A patent/CN113515217A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102221935A (zh) * | 2011-07-08 | 2011-10-19 | 邵永军 | 一种软件中间件触摸识别方法 |
CN105739897A (zh) * | 2016-01-29 | 2016-07-06 | 宇龙计算机通信科技(深圳)有限公司 | 一种触控操作处理的方法、装置以及终端 |
CN108021259A (zh) * | 2016-11-03 | 2018-05-11 | 华为技术有限公司 | 一种防误触方法及终端 |
CN108463792A (zh) * | 2016-11-03 | 2018-08-28 | 华为技术有限公司 | 一种防误触方法及终端 |
CN108646938A (zh) * | 2018-03-13 | 2018-10-12 | 广东欧珀移动通信有限公司 | 触摸屏的配置方法、装置、终端及存储介质 |
WO2020151518A1 (zh) * | 2019-01-23 | 2020-07-30 | Oppo广东移动通信有限公司 | 应用开启方法、装置、终端及存储介质 |
CN110096173A (zh) * | 2019-04-15 | 2019-08-06 | 努比亚技术有限公司 | 移动终端控制方法、移动终端及计算机可读存储介质 |
CN110806831A (zh) * | 2019-09-30 | 2020-02-18 | 华为技术有限公司 | 一种触摸屏的响应方法及电子设备 |
CN112148148A (zh) * | 2020-09-27 | 2020-12-29 | 北京小米移动软件有限公司 | 触控操作识别方法、装置、移动终端及存储介质 |
CN112306363A (zh) * | 2020-10-30 | 2021-02-02 | 腾讯科技(深圳)有限公司 | 鼠标模拟方法、装置、显示设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021232930A1 (zh) | 应用分屏方法、装置、存储介质及电子设备 | |
US11790914B2 (en) | Methods and user interfaces for voice-based control of electronic devices | |
CN107491186B (zh) | 用于屏幕的手写键盘 | |
KR102157759B1 (ko) | 주변 장치들과 무선 페어링하고 주변 장치들에 관한 상태 정보를 디스플레이하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 | |
US20220067283A1 (en) | Analysis and validation of language models | |
WO2019206213A1 (zh) | 应用程序预加载方法、装置、存储介质及终端 | |
US10282090B2 (en) | Systems and methods for disambiguating intended user input at an onscreen keyboard using dual strike zones | |
CN107710131B (zh) | 内容浏览用户界面 | |
US20170075878A1 (en) | Emoji and canned responses | |
CN106662630B (zh) | 使用通信耦接的电子设备来进行位置确定 | |
KR20180026983A (ko) | 전자 장치 및 그 제어 방법 | |
CN109891374A (zh) | 与数字代理的基于力的交互 | |
WO2016191188A1 (en) | Assist layer with automated extraction | |
CN113052078A (zh) | 空中书写轨迹识别方法、装置、存储介质及电子设备 | |
WO2019047226A1 (zh) | 触摸操作响应方法及装置 | |
US20230384925A1 (en) | Method, terminal for acquiring gesture data, and storage medium | |
CN107111415B (zh) | 用于移动应用接口元素的设备、方法和图形用户界面 | |
JP2023162224A (ja) | 健康イベントのログ記録及びコーチング用ユーザインタフェース | |
CN112995562A (zh) | 摄像头的调用方法、装置、存储介质及终端 | |
CN113515217A (zh) | 一种触控处理方法、装置、存储介质及电子设备 | |
CN113010078A (zh) | 触控方法、装置、存储介质及电子设备 | |
US20200356248A1 (en) | Systems and Methods for Providing Continuous-Path and Delete Key Gestures at a Touch-Sensitive Keyboard | |
CN111859999A (zh) | 消息翻译方法、装置、存储介质及电子设备 | |
CN106990901A (zh) | 提示标记的处理方法及装置 | |
CN113934501A (zh) | 翻译方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |