CN112506413A - 触控点预测方法、装置、终端设备及计算机可读存储介质 - Google Patents
触控点预测方法、装置、终端设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112506413A CN112506413A CN202011485095.2A CN202011485095A CN112506413A CN 112506413 A CN112506413 A CN 112506413A CN 202011485095 A CN202011485095 A CN 202011485095A CN 112506413 A CN112506413 A CN 112506413A
- Authority
- CN
- China
- Prior art keywords
- touch
- coordinate
- touch point
- compensation value
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例公开了一种触控点预测方法、装置、终端设备及计算机可读存储介质。该方法,包括:获取触控屏采集的当前触控数据;通过坐标预测模型对所述当前触控数据进行分析,得到预测触控点坐标,其中,所述坐标预测模型是通过历史触控轨迹数据集训练得到的,所述历史触控轨迹数据集包括多个历史触控轨迹样本,每个所述历史触控轨迹样本包括触控轨迹上的多个样本触控点信息;根据所述预测触控点坐标确定待显示内容,并对所述待显示内容进行处理及显示。上述触控点预测方法、装置、终端设备及计算机可读存储介质,解决了显示的内容与用户实际的触控位置不匹配的问题,提高了终端设备的跟手性。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种触控点预测方法、装置、终端设备及计算机可读存储介质。
背景技术
随着智能移动终端技术的飞速发展,手机、智能手表、平板电脑等终端设备提供给用户的功能越来越齐全,成为用户日常生活不可缺少的一部分。市面上绝大部分的终端设备都设置有触摸屏,以供用户通过触控操作与终端设备进行交互,使用终端设备的功能。跟手性作为触摸屏的硬性指标之一,常用于反映终端设备的性能,跟手性指的是终端设备所显示的屏幕内容能根据用户的滑动手势及时做出反应,如何提高终端设备上触摸屏的跟手性成了亟需解决的问题。
发明内容
本申请实施例公开了一种触控点预测方法、装置、终端设备及计算机可读存储介质,解决了显示的内容与用户实际的触控位置不匹配的问题,提高了终端设备的跟手性。
本申请实施例公开了一种触控点预测方法,包括:
获取触控屏采集的当前触控数据;
通过坐标预测模型对所述当前触控数据进行分析,得到预测触控点坐标,其中,所述坐标预测模型是通过历史触控轨迹数据集训练得到的,所述历史触控轨迹数据集包括多个历史触控轨迹样本,每个所述历史触控轨迹样本包括触控轨迹上的多个样本触控点信息;
根据所述预测触控点坐标确定待显示内容,并对所述待显示内容进行处理及显示。
本申请实施例公开了一种触控点预测装置,包括:
触控信息获取模块,用于获取触控屏采集的当前触控数据;
预测模块,用于通过坐标预测模型对所述当前触控数据进行分析,得到预测触控点坐标,其中,所述坐标预测模型是通过历史触控轨迹数据集训练得到的,所述历史触控轨迹数据集包括一个或多个历史触控轨迹样本,每个所述历史触控轨迹样本包括触控轨迹上的多个样本触控点信息;
显示模块,用于根据所述预测触控点坐标确定待显示内容,并对所述待显示内容进行处理及显示。
本申请实施例公开了一种终端设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如上所述的方法。
本申请实施例公开了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的方法。
本申请实施例公开的触控点预测方法、装置、终端设备及计算机可读存储介质,获取触控屏采集的当前触控数据,通过坐标预测模型对所述当前触控数据进行分析,得到预测触控点坐标,其中,该坐标预测模型是通过历史触控轨迹数据集训练得到的,再根据预测触控点坐标确定待显示内容,并对待显示内容进行处理及显示,在用户进行触控操作的过程中,通过坐标预测模型对触控点坐标进行预测,自动适配不同用户的触控习惯,使得显示的内容能够准确贴合用户实际的触控位置,提高了终端设备的跟手性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A为一个实施例中触控点预测方法的应用场景图;
图1B为一个实施例中触控点预测方法的系统架构图;
图2为一个实施例中触控点预测方法的流程图;
图3为一个实施例中送显周期的示意图;
图4为一个实施例中利用预测触控坐标进行显示的示意图;
图5为另一个实施例中触控点预测方法的流程图;
图6为另一个实施例中触控点预测方法的流程图;
图7为一个实施例中触控点预测装置的框图;
图8为一个实施例中终端设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1A为一个实施例中触控点预测方法的应用场景图。如图1A所示,该应用场景中可包括用户10及终端设备20,该终端设备20可包括但不限于手机、智能穿戴设备、平板电板、电视机、车载终端、个人电脑(Personal Computer,PC)等,本申请实施例对此不作具体限制。用户10可对终端设备20的触控屏进行触控操作,终端设备20可获取触控屏采集的当前触控数据,并通过坐标预测模型对该当前触控数据进行分析,得到预测触控点坐标,再根据该预测触控点坐标确定待显示内容,并对待显示内容进行处理及显示。
图1B为一个实施例中触控点预测方法的系统架构图。如图1B所示,该系统架构可应用于上述的终端设备20。该系统架构可包括应用模块、系统模块及硬件模块。
应用模块可包括一系列应用程序包,例如可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序,但不限于此。应用模块可用于响应触屏事件,并可根据该触屏事件调整界面布局,例如,可确定用户进行的触控操作的滑动速度,并基于该滑动速度测量所需渲染的界面布局等。
系统模块可包括输入通道系统、窗口显示系统、渲染合成系统、输入及混合子系统,以及内核驱动系统等。其中,输入通道系统用于建立窗口显示系统与应用模块的输入消息通道映射,实现窗口显示系统与应用模块之间的消息传递。窗口显示系统及渲染合成系统可用于实现窗口绘制及图层渲染、合成等处理。输入及混合子系统可对用户的触控行为进行识别,例如对触控类型(如按下、滑动、多点触控、单点触控等)、滑动速度等进行识别。内核驱动系统可用于驱动终端设备上的硬件工作,内核驱动系统可包括但不限于显示驱动、摄像头驱动、音频驱动、传感器驱动等。
硬件模块可包括处理器、触屏外设硬件及显示屏等,处理器可以包括一个或者多个处理核,用于处于终端设备中的各项数据,实现不同的功能。触屏外设硬件可用于扫描发生的触控操作,并将检测到的触控位置等信息上报到内核驱动系统。显示屏可用于显示经过渲染、合成等处理的显示内容。可选地,该显示屏可以是具备触控功能的触控显示屏,显示屏也可以与提供触控功能的触摸板分开进行设置,仅用于显示。
触屏外设硬件检测到触控操作,可向内核驱动系统上报触控数据,上报频率可为固定的报点周期,例如,上报频率为135Hz(赫兹),报点周期可为7.4ms(毫秒等)。内核驱动系统接收到上报的触屏事件后,输入及混合子系统可基于上报的触屏事件对触控操作进行分析识别,应用模块可响应识别触屏事件,并基于识别的触控操作调整界面布局,再由窗口显示系统及渲染合成系统渲染、合成显示内容,并将显示内容发送到显示屏进行显示。
在相关技术中,终端设备的显示屏在刷新时,会产生显示信号,该显示信号可触发系统模块进行内容渲染、合成等处理,由于在显示内容的处理过程中需要一定的处理时长,在显示内容的处理过程中用户在触控屏上的触控位置可能已发生较大变化,显示的内容相对触控位置存在滞后性,因此导致显示的内容与触控位置不匹配的情况,存在跟手性较差的问题。
本申请实施例提供一种触控点预测方法、装置、终端设备及计算机可读存储介质,解决了显示的内容与用户实际的触控位置不匹配的问题,提高了终端设备的跟手性。
如图2所示,在一个实施例中,提供一种触控点预测方法,该方法可适用于上述的终端设备,该终端设备的操作系统可包括但不限于Android操作系统、IOS操作系统、Symbian(塞班)操作系统、Windows操作系统等,本申请实施例不做限定。该方法可包括以下步骤:
步骤210,获取触控屏采集的当前触控数据。
在本申请实施例中,触控屏(Touch Panel)也可称为触摸屏、触控面板等,指的是可接收触控等输入讯号的显示屏,用户可通过手指、触控笔等触摸触控屏,即可实现与屏幕上显示的界面之间的交互。触控屏可包括但不限于红外线式触控屏、电阻式触控屏、电容式触控屏、表面声波式触控屏等,本申请实施例不做限定。
终端设备的触控屏可检测用户在触控屏上进行的触控操作,生成相应的触控事件,并将触控事件上报到终端设备的操作系统中。可选地,触控屏可按照固定的上报频率上报触控事件,每次上报的触控事件中可包括检测到的触控点坐标等。作为一种具体的实施方式,可在触控屏的角点中选择任一角点作为原点建立触控坐标系,例如,以触控屏在正向摆放时的左下角点或左上角点等为原点建立触控坐标系,发生触控事件的位置在触控屏坐标系中的坐标即为触控点坐标。
当触控屏检测到触控操作时,终端设备可根据触控屏上报的触控事件获取触控屏采集的当前触控数据。作为一种实施方式,触控屏采集的当前触控数据可以是根据触控屏最新上报的触控事件得到的最新触控点信息,例如最新上报的触控点坐标、该最新上报的触控点坐标对应的速度信息、加速度信息等。
作为另一种实施方式,触控屏采集的当前触控数据可以是根据触控屏在最近一个送显周期内上报的N个触控事件得到的N个触控点信息,其中,N可为正整数。送显周期可通过终端设备的屏幕刷新频率确定,屏幕刷新频率可指的是终端设备的显示屏刷新显示内容的频率。可选地,在显示屏每次刷新完成时,可生成垂直同步(Vertical Synchronization,Vsync)信号,并上报到操作系统中,该Vsync信号可用于触发进行下一帧显示内容的渲染、合成等处理。送显周期可指的是获取到相邻两个Vsync信号之间的时长。例如,屏幕刷新频率为60Hz,送显周期可为1秒/60=16.6ms。
图3为一个实施例中送显周期的示意图。如图3所示,显示屏相邻两次上报Vsync信号之间的时长t1可作为一个送显周期,触控屏相邻两次上报触控事件之间的时长t2可作为一个报点周期,可选地,送显周期可大于报点周期,也可小于报点周期,送显周期与报点周期之间的关系可取决于触控屏的上报频率和显示屏的屏幕刷新频率之间的大小。每个送显周期内包含的触控点数量N可相同,也可不同,例如,在图3中的第1个送显示周期内,触控屏上报2个触控事件,即包含2个触控点信息,在第2个送显示周期内,触控屏上报3个触控事件,即包含3个触控点信息。
在一些实施例中,终端设备在获取触控屏上报的触控事件后,可对获取的触控事件进行分析,识别触控操作的操作类型,其中,触控操作的操作类型可包括但不限于按压操作、滑动操作、单指触控、多指触控等,也可以是上述多种操作中的几种操作的组合操作。
在一些实施例中,可获取上报的多个触控事件分别对应的触控点坐标,并根据该触控点坐标识别触控操作的操作类型。其中,在连续获取到多个触控点坐标相同的触控事件时,可确定触控操作为按压操作;在获取到的多个触控事件的触控点坐标持续进行变化时,可确定触控操作为滑动操作;若每个触控事件中仅包含单一的触控点坐标,则可确定触控操作为单指触控;若每个触控事件中包含有多个触控点坐标,则可确定触控操作为多指触控。
作为一种具体实施方式,终端设备可通过手势监听接口监听触控屏发生的触控事件,针对不同操作类型的触控操作,可触发产生不同的触控事件。例如,针对滑动操作,用户触摸触控屏,触控屏首次检测到被触摸时,可触发生成按下事件,用户开始在触控屏上滑动,触控屏持续扫描用户在触控屏上的触控位置,并生成多个移动事件,每个移动事件的触控点坐标可不相同,用户停止触摸触控屏,触控屏未检测到触控位置,则可触发生成抬起事件等。
在本申请实施例中,主要针对的是用户在触控屏上执行滑动操作时,显示的内容与触控位置不匹配的问题。因此,终端设备可先根据触控屏触发产生的触控事件识别触控操作为滑动操作,再执行步骤210~230,可减少终端设备的处理量,提高处理效率并降低设备的功耗。
步骤220,通过坐标预测模型对当前触控数据进行分析,得到预测触控点坐标,其中,坐标预测模型是通过历史触控轨迹数据集训练得到的。
预测触控点坐标可指的是坐标预测模型预测的在显示的内容进行渲染、合成等处理后用户在触控屏上的触控位置。终端设备在获取到当前触控数据时,需要对当前触控数据对应的待显示内容进行渲染、合成等处理,再在显示屏上显示,在处理待显示内容的过程中,用户持续进行触控操作,触控点坐标持续发生变化,因此,需要利用坐标预测模型预测在待显示内容显示时的触控点坐标,使得显示屏上显示的内容与用户真实的触控点坐标相匹配。
终端设备可采用机器学习的方式构建坐标预测模型,利用历史触控轨迹数据集训练得到坐标预测模型。历史触控轨迹数据集中可包括多个历史触控轨迹样本,进一步地,每个历史触控轨迹样本可指的是用户从按下到抬起的滑动操作过程中的触控轨迹。每个历史触控轨迹样本包括触控轨迹上的多个样本触控点信息,可选地,每个样本触控点信息可包括触控点的坐标、速度及加速度等信息。通过对大量历史触控轨迹样本的学习,可使得坐标预测模型贴合大部分用户的触控习惯,得到的预测触控点坐标更为准确。
在一些实施例中,坐标预测模型可以为强化学习算法模型,例如Q-learning算法模型、Policy Gradient算法模型等,但不限于此。强化学习算法指的是基于环境而行动,以取得最大化的预期收益的学习算法。在强化学习算法中,可根据当前状态(State)预测选择最大化全局收益的行为(Action)。
在一些实施例中,在坐标预测模型的训练过程中,历史触控轨迹样本中的每个样本触控点信息可分别对应一个状态,其中,第一个样本触控点信息可对应于初始状态,最后一个样本触控点可对应结束状态。可选地,状态可用触控点的坐标等进行表示。可利用大量的历史触控轨迹样本训练坐标预测模型选择最大化全局收益的行为的能力,以使训练得到的训练坐标预测模型为加贴合用户的实际触控习惯。
以历史触控轨迹样本的第一样本触控点为例,将第一样本触控点对应的状态作为当前状态,相对第一样本触控点的下一样本触控点对应的状态为下一状态,从当前状态到下一状态执行的触控行为可作为一个行为,可选地,该行为可用滑动方向、速度等进行表示。例如,历史触控轨迹样本包含的触控点序列为S1(x1,y1),S2(x2,y2),S3(x3,y3)…Sn(xn,yn),假设S1为第一样本触控点,则S1(x1,y1)可为当前状态,S2(x2,y2)可为下一状态,从S1(x1,y1)到S2(x2,y2)的触控操作即为行为。
作为一种具体实施方式,可建立回报值表格,该回报值表格中可存储有每个状态及行为对应的回报值,即每个触控点坐标及滑动方向、速度等所对应的回报值,同一触控点坐标对应不同的滑动方向及不同速度,可分别对应不同的回报值。示例性地,回报值表格可如表1所示:
表1
状态 | 行为 | 回报值 |
(x1,y1) | (d1,s1) | R1 |
(x1,y1) | (d1,s2) | R2 |
(x1,y1) | (d2,s1) | R3 |
(x2,y2) | (d1,s1) | R4 |
其中,(d1,s1)表示以滑动方向d1、速度s1执行触控操作,(d1,s2)表示以滑动方向d1、速度s2执行触控操作,(d2,s1)表示以滑动方向d2、速度s1执行触控操作等。需要说明的是,表1仅用于说明回报值表格,并不用于限定回报值表格的表格形式及具体数据。
坐标预测模型可从回报值表格中选择第一样本触控点的坐标(即当前状态)的最大回报值所对应的行为作为预测行为,以及执行该预测行为后达到的下一样本触控点的预测坐标(即预测的下一状态)。可根据历史触控轨迹样本中下一样本触控点的真实坐标及该预测坐标,对回报值表格中第一样本触控点的坐标所对应的回报值进行更新。进一步地,还可根据真实下一状态及预测下一状态调整坐标预测模型的参数,该参数可包括但不限于折扣因子、学习速率等参数。
在其它的实施例中,也可直接建立回报函数,该回报函数可用于计算每个状态下不同行为所对应的回报值,可在训练过程中,利用历史触控轨迹数据集对回报函数进行更新。可以理解地,实现选择最大回报值行为的方式并不仅限于上述几种方式,也可采用其它方式,本申请对此不作限定。
终端设备获取当前触控数据后,坐标预测模型可选择与该当前触控数据对应的回报值最大的行为,并根据该回报值最大的行为得到预测的下一状态,该预测的下一状态可为预测触控点坐标。在本申请实施例中,利用基于强化学习算法的坐标预测模型可更加准确地预测滑动操作过程中的触控点坐标,提高预测的准确性。
步骤230,根据预测触控点坐标确定待显示内容,并对待显示内容进行处理及显示。
可根据坐标预测模型本次得到的预测触控点坐标得到预测滑动距离及滑动方向等,并根据该预测滑动距离及滑动方向确定待显示内容。终端设备可获取显示屏上当前显示的显示内容对应的触控点坐标,可选地,该触控点坐标可为坐标预测模型上一次得到的预测触控坐标。可计算坐标预测模型本次得到的预测触控点坐标与上一次得到的预测触控坐标之间的距离以作为预测滑动距离,以及本次得到的预测触控点坐标相对上一次得到的预测触控坐标的滑动方向,并根据该预测滑动距离及滑动方向确定待显示内容。可将当前显示的显示内容按照该预测滑动距离及滑动方向进行移动后得到的内容作为待显示内容。
作为一种具体实施方式,可预先建立内容移动像素值与触控操作的滑动距离的对应关系,例如,滑动1cm(厘米),对应的内容移动像素值可为200像素等,但不限于此。可根据该对应关系将计算得到的滑动距离转换为内容移动像素值,再基于该内容移动像素值及滑动方向确定待显示内容,其中,待显示内容相对当前显示的显示内容可距离该内容移动像素值。
以手机上的显示桌面为例,预测滑动距离为8ms(毫米),对应的内容移动像素值为190像素,滑动方向为向上滑动,则可将在当前显示的显示内容下方,且距离当前显示的显示内容190像素的内容作为待显示内容,也即,将显当前显示的显示内容向上滑动8毫米后的内容作为待显示内容。在一些实施例中,触控操作的滑动距离可直接以像素点进行表示,则内容移动像素值与滑动距离可为1:1的对应关系。
在确定待显示内容后,可对该待显示内容进行渲染等处理,并在显示屏中进行显示,由于待显示内容是利用预测触控坐标进行确定的,考虑了内容处理过程中触控坐标的变化,因此,待显示内容在显示屏中显示时与用户的触控坐标匹配,从而降低了内容显示存在的滞后性。
示例性地,图4为一个实施例中利用预测触控坐标进行显示的示意图。如图4所示,每个送显周期可分别对应N个触控点信息,基于该N个触控点信息可得到送显周期对应的实际滑动距离,该实际滑动距离可为每个送显周期中上报的第一个触控点与最后一个触控点之间的距离,图4中的空心圆可表示利用N个触控点信息计算得到的触控点坐标。可通过坐标预测模型得到与各个送显周期对应的预测触控点坐标,并基于该预测触控点坐标计算预测滑动距离,图4中的空心圆可表示预测触控点坐标。同一送显周期对应的空心圆与实心圆的距离,可与送显周期上报的各个触控点坐标、速度,以及末端加速度等相关,例如,速度越大,距离可越大,末端加速度较小时,距离较小等,但不限于此。预测触控点坐标对利用送显示周期内的N个触控点信息计算得到的触控点坐标进行了一定的补偿,使得显示的内容与用户的实际触控位置更加适配。
需要说明的是,本申请实施例中为了更好地说明本方案,因此将触控屏与显示屏分开论述,但在实际应用中,触控屏可为集成有触控组件的显示屏,也即,上述的显示屏可指的是触控屏。
在本申请实施例中,获取触控屏采集的当前触控数据,通过坐标预测模型对当前触控数据进行分析,得到预测触控点坐标,其中,该坐标预测模型是通过历史触控轨迹数据集训练得到的,再根据预测触控点坐标确定待显示内容,并对待显示内容进行处理及显示,在用户进行触控操作的过程中,通过坐标预测模型对触控点坐标进行预测,自动适配不同用户的触控习惯,使得显示的内容能够准确贴合用户实际的触控位置,提高了终端设备的跟手性。
如图5所示,在一个实施例中,提供另一种触控点预测方法,可适用于上述的终端设备,该方法可包括以下步骤:
步骤502,获取触控屏在最近一个送显周期内上报的N个触控点信息,并将N个触控点信息作为当前触控数据。
步骤502的描述可参照上述实施例中步骤210的相关描述,在此不再赘述。
步骤504,通过坐标预测模型对当前触控数据进行分析,得到坐标补偿值。
在一些实施例中,当前触控数据可包括最近一个送显周期内上报的N个触控点的触控点坐标及滑动速度,以及最近一个送显周期的末端加速度等,该末端加速度可为上报的N个触控点中,末端两个触控点的滑动速度差值与上报周期之间的比值。例如,最近一个送显周期内上报了3个触控点信息,分别为A1(x1’,y1’),A2(x2’,y2’),A3(x3’,y3’),其中,A1、A2、A3的滑动速度分别为v1、v2、v3,则末端加速度可为(v3-v2)/t2,其中,t2为触控屏上报触控事件的上报周期。
坐标补偿值可指的是相对送显周期内上报的N个触控点信息的真实触控坐标的坐标补偿,用于补偿在处理内容的过程中用户的触控位置的变化。坐标补偿值可包括横坐标补偿值及纵坐标补偿值,坐标预测模型可根据最近一个送显周期内上报的N个触控点的触控坐标及滑动速度,以及最近一个送显周期的末端加速度等多个维度,得到横坐标补偿值及纵坐标补偿值。
步骤506,根据当前触控数据及坐标补偿值确定预测触控点坐标。
在一些实施例中,可根据最近一个送显周期内上报的N个触控点坐标得到原始触控点坐标,原始触控点坐标可指的是用户在该送显周期内进行触控操作实际到达的触控点位置。进一步地,由于送显周期内上报的触控点坐标数量有限,因此可通过插值算法等方式对N个触控点坐标进行计算,得到最近一个送显周期对应的原始触控点坐标。可将原始触控点坐标与坐标补偿值进行累加,得到预测触控点坐标,进一步地,可将坐标预测模型输出的横坐标补偿值与原始触控点坐标的横坐标累加,将坐标预测模型输出的纵坐标补偿值与原始触控点坐标的纵坐标累加,累加后的横坐标及纵坐标即可组成预测触控点坐标。例如,原始触控点坐标为(110,37),坐标补偿值为(10,5),则得到的预测触控点坐标可为(120,43)。
在一些实施例中,坐标预测模型可选择与该当前触控数据对应的回报值最大的行为,该行为可包括滑动方向、滑动速度等,可根据该行为估计坐标补偿值。作为一种具体实施方式,可设定处理待显示内容的预估处理时长,并根据预估处理时长、滑动速度及当前触控数据中的末端加速度等,计算在待显示内容的处理过程中的预估滑动距离。进一步地,可利用距离、加速度及速度之间的物理计算公式s=vt+1/2at2计算得到预估滑动距离,其中,v为滑动速度,a为末端加速度,t为预估处理时长,s为预估滑动距离。可根据该预估滑动距离及滑动方向生成滑动向量,并将该滑动向量转化为横坐标及纵坐标,即得到坐标补偿值。
可选地,上述的预估处理时长可以是预先设定的固定值,也可以是根据不同待显示内容进行调整的值,例如,图层较多、内容较为丰富的待显示内容对应的预估处理时长可较长,图层较少、内容较为简单的待显示内容对应的预估处理时长可较短。
在一些实施例中,通过坐标预测模型对当前触控数据及历史触控点信息进行分析,得到坐标补偿值,其中,历史触控点信息为本次触控操作过程中,触控屏在最近一个送显周期之前所采集的触控点信息。历史触控点信息可包括从获取到触控屏上报的按下事件开始,到最近一个送显周期之前的过程中,所获取的各个移动事件中包含的触控点信息。以图3为例,假设最近一个送显周期为第3个送显周期,则历史触控点信息可包括在第3个送显周期之前触控屏上报的各个触控点信息。
坐标预测模型可对输入的每个送显周期中上报的触控点信息进行存储,在输出坐标补偿值时,可综合考虑本次输入的最近一个送显周期的N个触控点信息,以及在该最近一个送显周期之前输入的历史触控点信息,可对历史触控点信息及当前触控数据进行拟合,得到本次触控操作的滑动轨迹,并根据该滑动轨迹及当前触控数据选择回报值最大的行为,从而得到坐标补偿值。能够使得得到的坐标补偿值贴合不同的触控轨迹,贴合用户的实际触控操作,坐标补偿值更为准确。
在一些实施例中,坐标预测模型可根据历史坐标补偿值对本次预测的坐标补偿值进行校验,判断本次预测的坐标补偿值是否准确。步骤通过坐标预测模型对当前触控数据及历史触控点信息进行分析,得到坐标补偿值,可包括:在坐标预测模型中,可根据当前触控数据及历史触控点信息,得到本次预测的坐标补偿值;可根据与当前触控数据匹配的历史坐标补偿值,对本次预测的坐标补偿值进行校验,并根据校验结果确定坐标预测模型输出的坐标补偿值。
其中,历史坐标补偿值可为坐标预测模型在最近一个送显周期之前输出的坐标补偿值。可选地,坐标预测模型在每次输出坐标补偿值时,可建立坐标补偿值与触控数据之间的对应关系,并对该对应关系进行存储,可选地,该对应关系可通过预设的数据结构存储在数据表格中。
进一步地,可建立输出的坐标补偿值与送显周期对应的原始触控点坐标、送显周期的末端加速度、送显周期上报的各个触控点的平均速度等之间的对应关系。在坐标预测模型根据当前触控数据及历史触控点信息选择回报值最大的行为,并根据该回报值最大的行为得到本次预测的坐标补偿值后,可根据当前触控数据对应的原始触控点坐标、末端加速度及触控点的速度等,在数据表格中查找到与当前触控数据匹配的历史坐标补偿值。
在一些实施例中,还可建立输出的坐标补偿值与滑动轨迹之间的对应关系,该滑动轨迹可根据每次进行触控操作过程中获取的多个移动事件的触控点坐标进行确定,使得坐标补偿值与不同的滑动轨迹适配。在坐标预测模型得到本次预测的坐标补偿值后,可根据本次触控操作的历史触控点信息确定本次滑动轨迹,并在数据表格中查找到与当前触控数据及本次滑动轨迹匹配的历史坐标补偿值。
终端设备可根据查找到的各个匹配的历史坐标补偿值对本次预测的坐标补偿值进行校验,可计算本次预测的坐标补偿值与查找到的各个匹配的历史坐标补偿值之间的差值,可按照一定的校验规则及计算得到的各个差值,判断是否需要对本次预测的坐标补偿值进行调整。可选地,校验规则可包括但不限于以下几种:
规则一、对计算得到的各个差值进行累加,若累加后的数值大于预设的累加阈值,则根据查找到的各个匹配的历史坐标补偿值对本次预测的坐标补偿值进行调整。
规则二、可获取与本次预测的坐标补偿值之间的差值大于预设差值阈值的历史坐标补偿值,并统计该差值大于预设差值阈值的历史坐标补偿值的数量,若数量大于预设数量阈值,则根据查找到的各个匹配的历史坐标补偿值对本次预测的坐标补偿值进行调整。
按照上述的校验规则,可在本次预测的坐标补偿值与查找到的各个匹配的历史坐标补偿值相差较大时,对本次预测的坐标补偿值进行调整。可选地,调整的方式可包括求取查找到的各个匹配的历史坐标补偿值及本次预测的坐标补偿值的平均坐标补偿值,并将该平均坐标补偿值作为坐标预测模型输出的坐标补偿值等,但不限于此。调整方式也可以采用其它方式,例如采用标准差等方式进行调整、或是按照各个匹配的历史坐标补偿值对应的时间远近,分配不同的权重,并进行加权平均计算,以对本次预测的坐标补偿值进行调整等。
在一些实施例中,也可设定查找与当前触控数据匹配的历史坐标补偿值对应的查找时间范围,仅查找在一定时间范围内坐标预测模型输出的与当前触控数据匹配的历史坐标补偿值。也可设定查找与当前触控数据匹配的历史坐标补偿值对应的查找数量,可按照输出时间从近到远的顺序,查找一定数量的与当前触控数据匹配的历史坐标补偿值等。通过设定查找时间范围及数量等,可使得查找到的匹配的历史坐标补偿值更加准确,提高输出坐标补偿值的准确性。
在坐标补偿模型输出经过历史坐标补偿值校验后的坐标补偿值后,可将本次输出的坐标补偿值与当前触控数据对应存储在数据表格中,对数据表格中存储的对应关系进行更新,保证数据表格的准确性与及时性。
在一些实施例中,为了避免过渡预测的情况发生,可在坐标预测模型中设置补偿阈值。在坐标预测模型得到坐标补偿值后,可判断该坐标补偿值是否大于补偿阈值,若坐标补偿值大于补偿阈值,则根据补偿阈值对坐标补偿值进行修正处理,再根据当前触控数据及修正处理后的坐标补偿值确定预测触控点坐标。
可选地,当坐标补偿值大于补偿阈值时,可说明出现了过渡预测的情况,可直接将补偿阈值作为修正处理后的坐标补偿值。横坐标补偿值和纵坐标补偿值可对应相同的补偿阈值,也可分别对应不同的补偿阈值,若存在横坐标补偿值或纵坐标补偿值大于对应的补偿阈值,则可直接将对应的补偿阈值作为修正处理后的横坐标补偿值或纵坐标补偿值。在本申请实施例中,可将坐标补偿值限制在一定数值范围内,防止因滑动速度过快或是加速度过大等,导致坐标预测模型出现过渡预测的情况,可进一步提高预测触控点坐标的准确性。
步骤508,根据预测触控点坐标确定待显示内容,并对待显示内容进行处理及显示。
步骤508的描述可参照上述实施例中步骤230的相关描述,在此不再赘述。
在本申请实施例中,在用户进行触控操作的过程中,通过坐标预测模型对触控点坐标进行预测,自动适配不同用户的触控习惯,对于不同曲率的曲线滑动、直线滑动,以及不同滑动速度等均可通过坐标预测模型得到更好的拟合及坐标预测,使得显示的内容能够准确贴合用户实际的触控位置,提高了终端设备的跟手性。
如图6所示,在一个实施例中,提供另一种触控点预测方法,可适用于上述的终端设备,该方法可包括以下步骤:
步骤602,获取当前运行的应用程序对应的应用信息,并根据应用信息识别应用场景。
终端设备在检测到用户在触控屏上进行滑动操作时,可获取当前正在前台运行的应用程序所对应的应用信息,该应用信息可包括但不限于应用标识、应用类型、运行时所需的网络资源等,其中,应用标识可包括但不限于应用名称、应用编号等,应用类型可包括但不限于游戏应用、社交应用、即时通信应用、视频应用、信息浏览应用等。运行时所需的网络资源可包括占用的网络带宽等。
在一些实施例中,应用场景可按照应用类型进行划分,例如可分为游戏场景、信息(例如文章、新闻等)浏览应用、购物场景、视频播放场景及桌面场景等,但不限于此。在不同的应用场景下,用户的触控习惯可不相同,且可影响内容处理速度。例如,在信息浏览应用下,用户的滑动速度可能较慢,通常为直线滑动,而内容处理速度可能较快,而在游戏场景中,用户的滑动速度可能较快,可能为复杂的曲线滑动,且需要渲染大量的三维图形,因此内容处理速度可能较慢等。
针对不同的应用场景,可获取与各个应用场景分别对应的历史触控轨迹数据集,并利用与各个应用场景分别对应的历史触控轨迹数据集训练得到与各个应用场景分别对应的坐标预测模型,使得坐标预测模型适应不同应用场景之间的触控差异及内容处理差异等。
步骤604,获取触控屏在最近一个送显周期内上报的N个触控点信息,并将N个触控点信息作为当前触控数据。
步骤604的描述可参照上述各实施例中的相关描述,在此不再赘述。
步骤606,通过与应用场景对应的坐标预测模型对当前触控数据进行分析,得到坐标补偿值。
终端设备可通过与当前的应用场景对应的坐标预测模型对当前触控数据进行分析,确定预测触控点坐标,其中,与当前的应用场景对应的坐标预测模型是通过与当前的应用场景对应的历史触控轨迹数据集训练得到的,因此贴合当前的应用场景,可使得得到的预测触控点坐标更加准确。
在一些实施例中,不同应用场景下,在坐标预测模型中可分别对应不同的坐标预测策略,坐标预测模型在预测坐标补偿值时,可通过执行坐标预测策略,选择与当前触控数据对应的回报值最大的行为,并根据该回报值最大的行为得到坐标补偿值。通过不同的坐标预测策略可实现不同应用场景下的不同目标,提高在不同应用场景下对输出的坐标补偿值的准确性。
在一些实施例中,除了上述实施例中涉及的应用场景、当前触控数据、历史触控点坐标以外,还可考虑其它维度信息,例如,用户触摸触控屏时的压力,显示屏的长半轴尺寸、短半轴尺寸,终端设备的握持姿势等,但不限于此。可利用上述的各个维度信息对坐标预测模型进行训练,并在训练得到坐标预测模型后,将用户进行触控过程中的上述各维度的真实信息输入到坐标预测模型中,坐标预测模型可根据多维度的输入数据得到坐标补偿值,使得输出的坐标补偿值更为准确。
步骤608,根据当前触控数据及坐标补偿值确定预测触控点坐标。
步骤610,根据预测触控点坐标确定待显示内容,并对待显示内容进行处理及显示。
在一些实施例中,上述的方法还包括:获取触控屏最新上报的触控点坐标;根据该触控点坐标与预测触控点坐标确定坐标差值;根据坐标差值对坐标预测模型进行微调。
最新上报的触控点坐标指的是在待显示内容显示后获取到的第一个上报的触控点坐标,也可以是在待显示内容显示前获取到的最近一个上报的触控点坐标。例如,触控屏每隔8ms上报一次触控点坐标,假设触控屏在8ms、16ms、24ms分别上报触控点坐标,而待显示内容在13ms时显示,则最新上报的触控点坐标可以是8ms上报的触控点坐标,也可以是16ms上报的触控点坐标。
可计算最新上报的触控点坐标与预测触控点坐标之间的坐标差值,可将最新上报的触控点坐标减去预测触控点坐标,得到坐标差值,该坐标差值可包括横坐标差值及纵坐标差值,坐标差值可为绝对值。可判断该坐标差值是否大于设定值,若大于设定值,则可说明得到的预测触控点坐标与用户实际的触控位置差别较大,则可将最新上报的触控点坐标输入到坐标预测模型中,对坐标预测模型进行微调。
作为一种具体实施方式,可根据最新上报的触控点坐标对上述的当前触控数据对应的各个行为的回报值进行更新调整,例如,可更新加报值表格中的回报值,也可更新回报函数中该当前触控数据对应的各个行为的回报值等,但不限于此。根据用户的实际触控情况调整坐标预测策略,调整后的坐标预测模型更具有针对性,满足不同用户的触控习惯差异,可使得到的预测触控点坐标与用户实际的触控位置更加贴合。
在本申请实施例中,可对应用场景进行识别,并通过当前的应用场景对应的坐标预测模型向前预测触控点坐标,以适配不同应用场景下用户的不同触控习惯,使得到的预测触控点坐标更为准确,能够使得显示的内容能够准确贴合用户实际的触控位置,提高了终端设备的跟手性。
如图7所示,在一个实施例中,提供一种触控点预测装置700,可应用于上述的终端设备。该触控点预测装置700可包括触控信息获取模块710、预测模块720及显示模块730。
触控信息获取模块710,用于获取触控屏采集的当前触控数据。
在一个实施例中,触控信息获取模块710,还用于获取触控屏在最近一个送显周期内上报的N个触控点信息,并将N个触控点信息作为当前触控数据,其中,N为正整数,送显周期是通过屏幕刷新频率确定的。
预测模块720,用于通过坐标预测模型对当前触控数据进行分析,得到预测触控点坐标,其中,坐标预测模型是通过历史触控轨迹数据集训练得到的,历史触控轨迹数据集包括一个或多个历史触控轨迹样本,每个历史触控轨迹样本包括触控轨迹上的多个样本触控点信息。
显示模块730,用于根据预测触控点坐标确定待显示内容,并对待显示内容进行处理及显示。
在本申请实施例中,获取触控屏采集的当前触控数据,通过坐标预测模型对当前触控数据进行分析,得到预测触控点坐标,其中,该坐标预测模型是通过历史触控轨迹数据集训练得到的,再根据预测触控点坐标确定待显示内容,并对待显示内容进行处理及显示,在用户进行触控操作的过程中,通过坐标预测模型对触控点坐标进行预测,自动适配不同用户的触控习惯,使得显示的内容能够准确贴合用户实际的触控位置,提高了终端设备的跟手性。
在一个实施例中,预测模块720包括补偿单元及坐标预测单元。
补偿单元,用于通过坐标预测模型对当前触控数据进行分析,得到坐标补偿值。
在一个实施例中,补偿单元,还用于通过坐标预测模型对当前触控数据及历史触控点信息进行分析,得到坐标补偿值,其中,历史触控点信息为本次触控操作过程中,触控屏在最近一个送显周期之前所采集的触控点信息。
在一个实施例中,补偿单元,还用于在坐标预测模型中,根据当前触控数据及历史触控点信息,得到本次预测的坐标补偿值;根据与当前触控数据匹配的历史坐标补偿值,对本次预测的坐标补偿值进行校验,并根据校验结果确定坐标预测模型输出的坐标补偿值,其中,历史坐标补偿值为坐标预测模型在最近一个送显周期之前输出的坐标补偿值。
坐标预测单元,用于根据当前触控数据及坐标补偿值确定预测触控点坐标。
在一个实施例中,坐标预测单元,还用于根据N个触控点坐标得到原始触控点坐标,将原始触控点坐标与坐标补偿值进行累加,得到预测触控点坐标。
在一个实施例中,预测模块720除了包括补偿单元及坐标预测单元,还包括修正单元。
修正单元,用于若坐标补偿值大于补偿阈值,则根据补偿阈值对坐标补偿值进行修正处理。
坐标预测单元,还用于根据当前触控数据及修正处理后的坐标补偿值确定预测触控点坐标。
在一个实施例中,当前触控数据包括N个触控点的触控点坐标及滑动速度,以及最近一个送显周期的末端加速度。
在本申请实施例中,在用户进行触控操作的过程中,通过坐标预测模型对触控点坐标进行预测,自动适配不同用户的触控习惯,对于不同曲率的曲线滑动、直线滑动,以及不同滑动速度等均可通过坐标预测模型得到更好的拟合及坐标预测,使得显示的内容能够准确贴合用户实际的触控位置,提高了终端设备的跟手性。
在一个实施例中,上述触控点预测装置700,除了包括触控信息获取模块710、预测模块720及显示模块730,还包括场景识别模块。
场景识别模块,用于获取当前运行的应用程序对应的应用信息,并根据应用信息识别应用场景。
预测模块720,还用于通过与应用场景对应的坐标预测模型对当前触控数据进行分析,得到预测触控点坐标。
在一个实施例中,上述触控点预测装置700,还包括微调模块。
微调模块,用于获取触控屏最新上报的触控点坐标,并根据触控点坐标与预测触控点坐标确定坐标差值,再根据坐标差值对坐标预测模型进行微调。
在本申请实施例中,可对应用场景进行识别,并通过当前的应用场景对应的坐标预测模型向前预测触控点坐标,以适配不同应用场景下用户的不同触控习惯,使得到的预测触控点坐标更为准确,能够使得显示的内容能够准确贴合用户实际的触控位置,提高了终端设备的跟手性。
图8为一个实施例中终端设备的结构框图。如图8所示,终端设备800可以包括一个或多个如下部件:处理器810、与处理器810耦合的存储器820,其中存储器820可存储有一个或多个计算机程序,一个或多个计算机程序可以被配置为由一个或多个处理器810执行时实现如上述各实施例描述的方法。
处理器810可以包括一个或者多个处理核。处理器810利用各种接口和线路连接整个终端设备800内的各个部分,通过运行或执行存储在存储器820内的指令、程序、代码集或指令集,以及调用存储在存储器820内的数据,执行终端设备800的各种功能和处理数据。可选地,处理器810可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器810可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器810中,单独通过一块通信芯片进行实现。
存储器820可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory,ROM)。存储器820可用于存储指令、程序、代码、代码集或指令集。存储器820可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储终端设备800在使用中所创建的数据等。
可以理解地,终端设备800可包括比上述结构框图中更多或更少的结构元件,例如,包括电源模块、物理按键、WiFi(Wireless Fidelity,无线保真)模块、扬声器、蓝牙模块、传感器等,还可在此不进行限定。
本申请实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序被处理器执行时实现如上述实施例描述的方法。
本申请实施例公开一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可被处理器执行时实现如上述各实施例描述的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、ROM等。
如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括ROM、可编程ROM(Programmable ROM,PROM)、可擦除PROM(Erasable PROM,EPROM)、电可擦除PROM(Electrically ErasablePROM,EEPROM)或闪存。易失性存储器可包括随机存取存储器(random access memory,RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(Static RAM,SRAM)、动态RAM(Dynamic Random Access Memory,DRAM)、同步DRAM(synchronous DRAM,SDRAM)、双倍数据率SDRAM(Double Data Rate SDRAM,DDR SDRAM)、增强型SDRAM(Enhanced Synchronous DRAM,ESDRAM)、同步链路DRAM(Synchlink DRAM,SLDRAM)、存储器总线直接RAM(Rambus DRAM,RDRAM)及直接存储器总线动态RAM(DirectRambus DRAM,DRDRAM)。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。
以上对本申请实施例公开的一种触控点预测方法、装置、终端设备及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (13)
1.一种触控点预测方法,其特征在于,包括:
获取触控屏采集的当前触控数据;
通过坐标预测模型对所述当前触控数据进行分析,得到预测触控点坐标,其中,所述坐标预测模型是通过历史触控轨迹数据集训练得到的,所述历史触控轨迹数据集包括多个历史触控轨迹样本,每个所述历史触控轨迹样本包括触控轨迹上的多个样本触控点信息;
根据所述预测触控点坐标确定待显示内容,并对所述待显示内容进行处理及显示。
2.根据权利要求1所述的方法,其特征在于,所述通过坐标预测模型对所述当前触控数据进行分析,得到预测触控点坐标,包括:
通过坐标预测模型对所述当前触控数据进行分析,得到坐标补偿值;
根据所述当前触控数据及坐标补偿值确定预测触控点坐标。
3.根据权利要求2所述的方法,其特征在于,所述获取触控屏采集的当前触控数据,包括:
获取触控屏在最近一个送显周期内上报的N个触控点信息,并将所述N个触控点信息作为当前触控数据,其中,所述N为正整数,所述送显周期是通过屏幕刷新频率确定的。
4.根据权利要求3所述的方法,其特征在于,所述触控点信息包括触控点坐标,所述根据所述当前触控数据及坐标补偿值确定预测触控点坐标,包括:
根据N个所述触控点坐标得到原始触控点坐标;
将所述原始触控点坐标与所述坐标补偿值进行累加,得到预测触控点坐标。
5.根据权利要求3所述的方法,其特征在于,所述通过坐标预测模型对所述当前触控数据进行分析,得到坐标补偿值,包括:
通过坐标预测模型对所述当前触控数据及历史触控点信息进行分析,得到坐标补偿值,其中,所述历史触控点信息为本次触控操作过程中,所述触控屏在所述最近一个送显周期之前所采集的触控点信息。
6.根据权利要求5所述的方法,其特征在于,所述对所述当前触控数据及历史触控点信息进行分析,得到坐标补偿值,包括:
在所述坐标预测模型中,根据所述当前触控数据及历史触控点信息,得到本次预测的坐标补偿值;
根据与所述当前触控数据匹配的历史坐标补偿值,对所述本次预测的坐标补偿值进行校验,并根据校验结果确定所述坐标预测模型输出的坐标补偿值,其中,所述历史坐标补偿值为所述坐标预测模型在所述最近一个送显周期之前输出的坐标补偿值。
7.根据权利要求2至6任一所述的方法,其特征在于,所述当前触控数据包括N个触控点的触控点坐标及滑动速度,以及所述最近一个送显周期的末端加速度。
8.根据权利要求2至6任一所述的方法,其特征在于,在所述通过坐标预测模型对所述当前触控数据进行分析,得到坐标补偿值之后,所述方法还包括:
若所述坐标补偿值大于补偿阈值,则根据所述补偿阈值对所述坐标补偿值进行修正处理;
所述根据所述当前触控数据及坐标补偿值确定预测触控点坐标,包括:
根据所述当前触控数据及修正处理后的坐标补偿值确定预测触控点坐标。
9.根据权利要求1所述的方法,其特征在于,在所述获取触控屏采集的当前触控数据之前,所述方法还包括:
获取当前运行的应用程序对应的应用信息,并根据所述应用信息识别应用场景;
所述通过坐标预测模型对所述当前触控数据进行分析,得到预测触控点坐标,包括:
通过与所述应用场景对应的坐标预测模型对所述当前触控数据进行分析,得到预测触控点坐标。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述触控屏最新上报的触控点坐标;
根据所述触控点坐标与所述预测触控点坐标确定坐标差值;
根据所述坐标差值对所述坐标预测模型进行微调。
11.一种触控点预测装置,其特征在于,包括:
触控信息获取模块,用于获取触控屏采集的当前触控数据;
预测模块,用于通过坐标预测模型对所述当前触控数据进行分析,得到预测触控点坐标,其中,所述坐标预测模型是通过历史触控轨迹数据集训练得到的,所述历史触控轨迹数据集包括一个或多个历史触控轨迹样本,每个所述历史触控轨迹样本包括触控轨迹上的多个样本触控点信息;
显示模块,用于根据所述预测触控点坐标确定待显示内容,并对所述待显示内容进行处理及显示。
12.一种终端设备,其特征在于,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1至10任一所述的方法。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至10任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011485095.2A CN112506413B (zh) | 2020-12-16 | 2020-12-16 | 触控点预测方法、装置、终端设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011485095.2A CN112506413B (zh) | 2020-12-16 | 2020-12-16 | 触控点预测方法、装置、终端设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112506413A true CN112506413A (zh) | 2021-03-16 |
CN112506413B CN112506413B (zh) | 2022-06-07 |
Family
ID=74972523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011485095.2A Active CN112506413B (zh) | 2020-12-16 | 2020-12-16 | 触控点预测方法、装置、终端设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112506413B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113805770A (zh) * | 2021-08-12 | 2021-12-17 | 荣耀终端有限公司 | 一种光标的移动方法及电子设备 |
CN113885729A (zh) * | 2021-09-30 | 2022-01-04 | 惠州Tcl移动通信有限公司 | 触控采样控制方法、装置、终端和计算机可读存储介质 |
CN113918043A (zh) * | 2021-09-08 | 2022-01-11 | 华人运通(上海)云计算科技有限公司 | 一种触控方法 |
CN114860111A (zh) * | 2022-05-23 | 2022-08-05 | Oppo广东移动通信有限公司 | 触控轨迹的更新方法、装置、电子设备及存储介质 |
CN115328345A (zh) * | 2022-04-19 | 2022-11-11 | 天津先楫半导体科技有限公司 | 一种显示控件的刷新方法、系统、设备及介质 |
CN115657863A (zh) * | 2022-12-29 | 2023-01-31 | 北京东舟技术股份有限公司 | 一种触屏设备的非侵入式跟手性检测方法及装置 |
CN117289808A (zh) * | 2023-09-21 | 2023-12-26 | 深圳市瀚天鑫科技有限公司 | 一种电容式微型光标定位方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103403665A (zh) * | 2012-08-29 | 2013-11-20 | 华为终端有限公司 | 一种终端设备获取指令的方法及终端设备 |
US20150355778A1 (en) * | 2013-02-19 | 2015-12-10 | Lg Electronics Inc. | Mobile terminal and touch coordinate predicting method thereof |
CN105975122A (zh) * | 2016-04-27 | 2016-09-28 | 集怡嘉数码科技(深圳)有限公司 | 一种触摸轨迹补偿的方法、装置及终端设备 |
CN106716331A (zh) * | 2014-09-16 | 2017-05-24 | 微软技术许可有限责任公司 | 模拟触摸显示器的实时响应性 |
CN107003993A (zh) * | 2014-09-29 | 2017-08-01 | 微软技术许可有限责任公司 | 湿墨预测器 |
CN107636594A (zh) * | 2015-06-07 | 2018-01-26 | 苹果公司 | 用于处理触摸输入的设备和方法 |
CN108108054A (zh) * | 2017-12-29 | 2018-06-01 | 努比亚技术有限公司 | 预测用户滑动操作的方法、设备及计算机可存储介质 |
WO2018098960A1 (zh) * | 2016-12-01 | 2018-06-07 | 华为技术有限公司 | 一种触屏设备操作方法及触屏设备 |
WO2018161471A1 (zh) * | 2017-03-07 | 2018-09-13 | 华为技术有限公司 | 一种跟手性补偿方法、装置及终端设备 |
CN108829475A (zh) * | 2018-05-29 | 2018-11-16 | 北京小米移动软件有限公司 | Ui绘制方法、装置及存储介质 |
-
2020
- 2020-12-16 CN CN202011485095.2A patent/CN112506413B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103403665A (zh) * | 2012-08-29 | 2013-11-20 | 华为终端有限公司 | 一种终端设备获取指令的方法及终端设备 |
US20150355778A1 (en) * | 2013-02-19 | 2015-12-10 | Lg Electronics Inc. | Mobile terminal and touch coordinate predicting method thereof |
CN106716331A (zh) * | 2014-09-16 | 2017-05-24 | 微软技术许可有限责任公司 | 模拟触摸显示器的实时响应性 |
CN107003993A (zh) * | 2014-09-29 | 2017-08-01 | 微软技术许可有限责任公司 | 湿墨预测器 |
CN107636594A (zh) * | 2015-06-07 | 2018-01-26 | 苹果公司 | 用于处理触摸输入的设备和方法 |
CN105975122A (zh) * | 2016-04-27 | 2016-09-28 | 集怡嘉数码科技(深圳)有限公司 | 一种触摸轨迹补偿的方法、装置及终端设备 |
WO2018098960A1 (zh) * | 2016-12-01 | 2018-06-07 | 华为技术有限公司 | 一种触屏设备操作方法及触屏设备 |
WO2018161471A1 (zh) * | 2017-03-07 | 2018-09-13 | 华为技术有限公司 | 一种跟手性补偿方法、装置及终端设备 |
CN108108054A (zh) * | 2017-12-29 | 2018-06-01 | 努比亚技术有限公司 | 预测用户滑动操作的方法、设备及计算机可存储介质 |
CN108829475A (zh) * | 2018-05-29 | 2018-11-16 | 北京小米移动软件有限公司 | Ui绘制方法、装置及存储介质 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113805770A (zh) * | 2021-08-12 | 2021-12-17 | 荣耀终端有限公司 | 一种光标的移动方法及电子设备 |
CN113918043A (zh) * | 2021-09-08 | 2022-01-11 | 华人运通(上海)云计算科技有限公司 | 一种触控方法 |
CN113918043B (zh) * | 2021-09-08 | 2023-12-05 | 华人运通(上海)云计算科技有限公司 | 一种触控方法 |
CN113885729A (zh) * | 2021-09-30 | 2022-01-04 | 惠州Tcl移动通信有限公司 | 触控采样控制方法、装置、终端和计算机可读存储介质 |
CN113885729B (zh) * | 2021-09-30 | 2023-09-19 | 惠州Tcl移动通信有限公司 | 触控采样控制方法、装置、终端和计算机可读存储介质 |
CN115328345A (zh) * | 2022-04-19 | 2022-11-11 | 天津先楫半导体科技有限公司 | 一种显示控件的刷新方法、系统、设备及介质 |
CN114860111A (zh) * | 2022-05-23 | 2022-08-05 | Oppo广东移动通信有限公司 | 触控轨迹的更新方法、装置、电子设备及存储介质 |
CN115657863A (zh) * | 2022-12-29 | 2023-01-31 | 北京东舟技术股份有限公司 | 一种触屏设备的非侵入式跟手性检测方法及装置 |
CN115657863B (zh) * | 2022-12-29 | 2023-04-07 | 北京东舟技术股份有限公司 | 一种触屏设备的非侵入式跟手性检测方法及装置 |
CN117289808A (zh) * | 2023-09-21 | 2023-12-26 | 深圳市瀚天鑫科技有限公司 | 一种电容式微型光标定位方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112506413B (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112506413B (zh) | 触控点预测方法、装置、终端设备及计算机可读存储介质 | |
US20190355331A1 (en) | Managing Transitions of Adaptive Display Rates for Different Video Playback Scenarios | |
US8427503B2 (en) | Method, apparatus and computer program product for creating graphical objects with desired physical features for usage in animation | |
CN112764616B (zh) | 一种电子墨水屏手写加速方法、装置、设备及存储介质 | |
CN108121803B (zh) | 一种确定页面布局的方法和服务器 | |
US20100153890A1 (en) | Method, Apparatus and Computer Program Product for Providing a Predictive Model for Drawing Using Touch Screen Devices | |
US20160170617A1 (en) | Automatic active region zooming | |
US20090002324A1 (en) | Method, Apparatus and Computer Program Product for Providing a Scrolling Mechanism for Touch Screen Devices | |
EP3783471A1 (en) | Display control method and terminal | |
CN110727496B (zh) | 图形用户界面的布局方法、装置、电子设备及存储介质 | |
CN112364799A (zh) | 一种手势识别方法及装置 | |
US20190004823A1 (en) | Capturing user interactions | |
CN112487871B (zh) | 笔迹数据处理方法、装置及电子设备 | |
US8429556B2 (en) | Chunking data records | |
CN108604142B (zh) | 一种触屏设备操作方法及触屏设备 | |
CN110032320B (zh) | 一种页面滚动的控制方法、装置及终端 | |
CN108829329B (zh) | 一种操作对象展示方法、装置和可读介质 | |
CN111813321A (zh) | 手势控制方法及相关装置 | |
CN103076874A (zh) | 一种改善计算机视觉体感输入设备高延迟的方法及系统 | |
CN114442845A (zh) | 书写轨迹渲染方法、装置、书写屏设备及存储介质 | |
CN103874971B (zh) | 利用网页的scrollTop属性执行滚动的系统和方法 | |
WO2022252872A1 (zh) | 设备控制方法、装置、电子设备及存储介质 | |
CN112732214B (zh) | 控制方法、电子设备和可读存储介质 | |
CN102426517B (zh) | 一种用于在第一页面容器内执行工具模块的方法与设备 | |
CN114741151B (zh) | 分屏显示方法、装置、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |