CN113760123A - 屏幕触控的优化方法、装置、终端设备及存储介质 - Google Patents
屏幕触控的优化方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN113760123A CN113760123A CN202110844833.6A CN202110844833A CN113760123A CN 113760123 A CN113760123 A CN 113760123A CN 202110844833 A CN202110844833 A CN 202110844833A CN 113760123 A CN113760123 A CN 113760123A
- Authority
- CN
- China
- Prior art keywords
- touch
- interactive
- control
- interaction
- controls
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000005457 optimization Methods 0.000 title claims abstract description 27
- 230000002452 interceptive effect Effects 0.000 claims abstract description 283
- 230000003993 interaction Effects 0.000 claims description 167
- 238000013145 classification model Methods 0.000 claims description 62
- 238000004590 computer program Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 15
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
- G06F3/04186—Touch location disambiguation
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请适用于触控领域,公开了一种屏幕触控的优化方法、装置、终端设备及存储介质,所述优化方法包括:接收当前屏幕的触控事件,获取所述触控事件的触控位置;所述当前屏幕的屏幕画面中包含一个或多个交互控件;若所述触控位置处于所述一个或多个交互控件对应的误操作区域内,则根据所述触控位置确定所述触控事件对应的目标交互控件;响应于所述触控事件,执行所述目标交互控件对应的交互操作触控位置。本申请能够精准地纠正用户的误操作,解决了现有技术中用户容易误操作导致触控与预想不符的问题。
Description
技术领域
本申请涉及交互技术领域,具体涉及一种屏幕触控的优化方法、装置、终端设备及存储介质。
背景技术
当今的各种电子设备大多都是通过用户对屏幕的触控来进行交互,随着技术的发展,触屏屏幕的触控反馈精度越来越高,应用在同一屏幕画面上的可交互的触控件也越来越多,但这也导致了用户误操作的可能性的增大,所以如何提高触控操作的准确性成了亟需解决的技术问题。
发明内容
本申请实施例公开了一种屏幕触控的优化方法,能够精准地纠正用户的误触控操作,解决了用户容易误操作导致触控与预想不符的问题,提高了触控操作的准确性。
本申请实施例公开一种方法,包括:接收当前屏幕的触控事件,获取所述触控事件的触控位置;所述当前屏幕的屏幕画面中包含一个或多个交互控件;若所述触控位置处于所述一个或多个交互控件对应的误操作区域内,则根据所述触控位置确定所述触控事件对应的目标交互控件;响应于所述触控事件,执行所述目标交互控件对应的交互操作。
本申请实施例公开一种屏幕触控的优化装置,包括:触控事件监控模块,用于接收当前屏幕的触控事件,获取所述触控事件的触控位置;所述当前屏幕的屏幕画面中包含一个或多个交互控件;目标交互控件确定模块,用于若所述触控位置处于所述一个或多个交互控件对应的误操作区域内,则根据所述触控位置确定所述触控事件对应的目标交互控件;触控事件响应模块,用于响应于所述触控事件,执行所述目标交互控件对应的交互操作。
本申请实施例公开一种终端设备,包括:存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现本申请实施例公开的任一方法。
本申请实施例公开一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现本申请实施例公开的任一方法。
本申请实施例还公开了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行时实现本申请实施例公开的任一方法。
与现有技术相比,本申请实施例具有以下有益效果:
通过检测到处于误操作区域内的触控事件,则基于触控事件的触控位置确定触控事件对应的目标交互控件,以在响应该触控事件时执行该目标交互控件对应的交互操作,也即通过对触控坐标处于误操作区域内的触控事件的响应操作进行修正,能够精准地纠正用户的误触控操作,解决了用户容易误操作导致触控与预想不符的问题,提高了触控操作的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的屏幕触控的优化方法的应用场景;
图2是本申请一实施例提供的终端设备的系统结构图;
图3是本申请一实施例提供的屏幕触控的优化方法的实现流程图;
图4是本申请一实施例中根据所述触控位置确定所述触控事件对应的目标交互控件的实现流程图;
图5是本申请一实施例提供的利用分类模型确定目标交互控件的示意图;
图6是本申请另一实施例提供的屏幕触控的优化方法的实现流程图;
图7是本申请一实施例提供的邻近区域的示意图;
图8是本申请一实施例提供的基于各个所述交互控件的交互区域确定各个所述交互控件对应的邻近区域的实现流程图;
图9是本申请另一实施例提供的邻近区域的示意图;
图10是本申请一实施例提供的误操作区域的示意图;
图11是本申请一实施例提供的从所述至少两个交互控件中确定所述触控位置对应的目标交互控件的实现流程图;
图12是本申请另一实施例提供的屏幕触控的优化方法的实现流程图;
图13是本申请一实施例提供的优化装置的结构示意图;
图14是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
在本申请实施例中,流程的执行主体为终端设备。该终端设备包括但不限于:计算机、智能手机以及平板电脑等能够执行本申请公开的屏幕触控的优化方法的设备,该终端设备能够接收来自触摸屏的触控操作以让用户进行操作控制。图1示出了本申请一实施例提供的应用场景,参见图1,图1示出了用户通过触控移动终端的屏幕画面来操作该移动终端的应用场景,该屏幕画面上包含多个可交互的控件(图中仅示出了5个),其中控件1与控件2,以及控件2与控件3之间,差距较其他控件之间要小,是用户容易误操作的控件,例如用户想触控控件1,却不小心触控到了控件1与控件2之间的区域;此时可应用本申请实施例提供的屏幕触控的优化方法,确定控件1、2、3为交互控件,根据用户触控位置,识别出用户本来想触控的目标控件为图示的控件1,以使在响应用户触控时执行该控件1对应的交互操作。获取用户误操作时的触控位置,并根据该触控位置识别出用户误操作时的目标控件,能够精准地纠正用户的误操作,使目标控件响应用户操作,而非没有任何响应,解决了用户误操作导致与用户预想的响应操作没有出现的问题。
图2示出了本申请一实施例提供的终端设备的系统结构图,参见图2,该终端设备通过屏幕显示控件布局,并接收用户的触控操作,通过处理器确定该触控操作的屏幕触控位置,并与控件布局进行对比,确定该触控操作对应的控件,将该控件反馈至应用层,以执行该控件对应的操作。上述在响应用户触控时执行该控件1对应的交互操作,具体可以为:在将该屏幕触控位置与控件布局进行对比之前,更改该屏幕触控位置,使此次用户触控与屏幕上的目标交互控件相关联,也即在将上述更改后的屏幕触控位置与控件布局进行对比时,识别出该更改后的屏幕触控位置位于某一交互控件的识别范围内,则该某一交互控件为上述目标交互控件。
图3示出了本申请一实施例提供的屏幕触控的优化方法的实现流程图,详述如下:
在S301中,接收当前屏幕的触控事件,获取所述触控事件的触控位置。在本实施例中,上述当前屏幕的屏幕画面中包含一个或多个交互控件。该交互控件指的是该屏幕画面内的可交互的控件,示例性地,上述一个或多个交互控件可包括当前屏幕的屏幕画面中包含的各个按键图标。应理解,上述一个或多个交互控件可以指的是该屏幕画面中包含的所有可交互的控件或部分可交互的控件;上述一个或多个交互控件可以是预先设置的,也可以是根据历史触控数据确定的,例如将频繁触控的可交互的控件作为需要优化的可交互的控件。
作为一种实施方式,终端设备可截取当前屏幕显示的屏幕画面,并识别出该屏幕画面中包含的一个或多个交互控件,具体地,通过图像识别模型识别该屏幕画面中的一个或多个交互控件。在一种可能的实现方式中,上述通过图像识别模型识别该屏幕画面中的一个或多个交互控件,具体可以为:将该屏幕画面导入该图像识别模型,以使该图像识别模型对该屏幕画面进行边缘检测处理,得到该屏幕画面的边缘信息,根据该边缘信息,确定位于该屏幕画面中的各个有可交互的控件对应的显示区域,可将识别到的所有的交互控件作为本实施例中确定的一个或多个交互控件,也可从所有可交互的控件中选取一个或多个控件作为本实施例中确定的一个或多个交互控件。
在本实施例中,该触控事件指的是接收到用户对当前屏幕的触控行为所产生的事件;该触控事件的触控位置指的是用户的触控行为在当前屏幕上所触控的位置。该触控位置可以指的是用户触控屏幕的触控区域,也可以指的是用户触控屏幕的触控点,具体地,该触控点可以是该触控区域的区域中心点。
在一种可能实现的方式中,上述接收触控事件,获取所述触控事件的触控位置,具体可以为,通过触摸屏的触控元件接收来自用户的触控操作,基于该触控操作生成触控事件,并记录该触控事件对应的触控位置,终端设备接收到该触控事件以及该触控位置,以便于后续的操作。
在S302中,若所述触控位置处于所述一个或多个交互控件对应的误操作区域内,则根据所述触控位置确定所述触控事件对应的目标交互控件。
在本实施例中,该误操作区域可以指的是在上述一个或多个交互控件的交互区域的周边区域,该误操作区域用于识别上述触控事件是否为用户误操作导致的。在该触控位置处于该误操作区域内时,用户想要触发交互控件的概率较大,因此,可确定用户触控该误操作区域内任一地方的操作被识别为误操作。在正常情况下,用户对当前屏幕发起触控事件,若该触控事件的触控位置位于一个交互控件的交互区域中,也即该交互控件在该屏幕画面上的显示区域内,则该终端设备以该交互控件来响应用户的触控,即执行该交互控件对应的交互操作。而在用户的实际操作过程中,可能会出现用户触控的触控位置处于交互区域之外,则无法触发该交互区域对应的交互控件的操作,因此,需要对屏幕触控进行优化。
在一种可能实现的方式中,该误操作区域具体可以根据以下方式确定:将各个交互控件的交互区域的周边区域进行组合,得到该误操作区域,具体地,可以预设各个交互控件对应的误操作距离,将与各个交互控件的交互区域的最外围边缘的距离为该误操作距离的所有区域的集合,识别为该误操作区域;应理解,该误操作距离可以是固定的,即每个交互控件对应的误操作距离一致,也可以是根据各个交互控件的交互区域的大小决定的,即若交互区域大小不一致,则对应的误操作距离也不一致。
应理解,该误操作区域可以是预先设置的区域,具体地,可以是预先选取的待优化控件的交互区域的周边区域,该待优化控件是从上述一个或多个交互控件中选取的。
在本实施例中,若该触控位置处于该误操作区域内,说明该触控事件很可能是用户的误操作所导致的,因此需要对该触控事件进行优化,尽量减少用户的误操作所带来的影响。示例性地,对该触控事件进行优化,具体可以是根据该触控位置来确定目标交互控件,该目标交互控件可指的是用户在进行触控操作时想要触控的交互控件,以便后续以该目标交互控件来响应该触控事件。应理解,若该触控位置用于表征一个触控点,且该触控点位于该误操作区域内,则判断该触控位置处于该误操作区域内;若该触控位置用于表征一个触控区域,则判断该触控区域的区域中心是否在该误操作区域内,或判断该触控区域与该误操作区域的重合面积占该触控区域的占比是否大于或等于预设占比,以进一步判断该触控位置是否处于该误操作区域内,具体地,当该触控区域的区域中心在该误操作区域内,或该触控区域与该误操作区域的重合面积占该触控区域的占比大于或等于预设占比,则判断该触控位置处于该误操作区域内。
如图4所示,图4示出了本申请一实施例中根据所述触控位置确定所述触控事件对应的目标交互控件的实现流程图,也即S302可以包括S3021~S3022,具体详述如下:
在S3021中,将所述触控位置对应的触控坐标输入训练完成的分类模型,通过所述训练完成的分类模型对所述触控位置进行分类,得到所述触控坐标对应的控件类别;
在本实施例中,该分类模型是基于上述一个或多个交互控件的历史触控数据训练得到的,该一个或多个交互控件的历史触控数据指的是触发该一个或多个交互控件的触控事件及其对应的触控坐标,且该一个或多个交互控件与各个上述控件类别一一对应。上述触控坐标用于表征上述触控位置,若上述触控位置为触控点,则该触控坐标为该触控点在该当前屏幕上的坐标;若上述触控位置为触控区域,则该触控坐标为该触控区域的区域中心在当前屏幕上的坐标。
可选地,一个交互控件的触控事件具体可以为用户在该交互控件的交互区域(在屏幕上对应的显示区域)进行触控操作所导致的事件,也即该触控事件的触控位置位于该交互控件的交互区域内,也即上述历史触控数据具体可以是用户在正常情况下对交互控件进行触控操作所留下的历史数据。
作为一种具体实时方式,上述分类模型可包括基于于KNN(K-NearestNeighbor)算法实现的神经网络,该分类模型的训练过程可包括:基于KNN(K-NearestNeighbor)算法搭建一个待训练的分类模型,将上述一个或多个交互控件的历史触控数据作为训练数据集导入该待训练的分类模型中,该待训练的分类模型可通过历史触控数据确定模型内参数,最终训练得到KNN分类模型,也即上述分类模型。需要说明的是,分类模型也可以是基于其它算法的分类模型,例如聚类分类模型,基于深度学习的神经网络分类模型,在此不作限定。
在本实施例中,该分类模型可以输出的控件类别与上述一个或多个交互控件一一对应。
在一种可能实现的方式中,上述将所述触控位置对应的触控坐标输入分类模型,通过所述分类模型对所述触控坐标进行分类,得到所述触控坐标对应的控件类别。具体可以为:将该触控坐标输入上述的KNN分类模型中,通过该KNN分类模型对该触控坐标进行分类,得到该触控坐标的控件类别,作为一种具体实施方式,该KNN分类模型从上述历史触控数据中选取与该触控坐标最近的K个历史触控坐标,根据该K个历史触控坐标分别对应的控件类别,确定该触控坐标的控件类别。进一步地,该KNN分类模型选取在上述K个历史触控坐标里占比最大的控件类别为该触控坐标的控件类别。应理解,上述K为该KNN分类模型的其中一个内参数,该K具体可以根据上述历史触控数据的数据量进行设置,也可以通过上述训练过程得到。
在S3022中,将所述控件类别对应的交互控件确定为目标交互控件。
在本实施例中,正如上文所述,控件类别与交互控件一一对应,将上述分类模型输出的控件类别对应的交互控件确定为目标交互控件,以完成对该触控坐标进行分类,将该触控坐标与该目标交互控件进行关联。
在本实施例中,通过分类模型对该触控坐标进行分类,可以精准地识别用户在误操作区域触发的触控事件所对应的目标交互控件,以便后续精准地纠正用户的误操作。
在S303中,响应于所述触控事件,执行所述目标交互控件对应的交互操作。
一般来说,该触控事件的触控位置处于该误操作区域内,则表明用户在当前屏幕触控时没有正确地触控到任一一个交互控件的交互区域内,该触控事件为误操作事件,则该终端设备是不需要响应该触控事件的。但在本实施例中,对屏幕触控进行优化,主要体现为响应了该触控事件,具体地,在上述S302中确定了该触控事件对应的目标交互控件,在响应该触控事件时,执行该目标交互控件对应的交互操作。
在一种可能的实现方式中,上述响应于所述触控事件,执行所述目标交互控件对应的交互操作,具体可以为:将该触控事件对应的触控位置调整为目标触控位置,该目标触控位置用于触发进行该目标交互控件对应的交互操作;具体地,该目标触控位置指的是该目标交互控件的交互区域内的位置。上述将该触控位置调整为该目标触控位置,将调整后的触控位置作为响应上述触控事件的基准,以该目标交互控件来响应该触控事件,使得该终端设备在响应该触控事件时,执行该目标交互控件对应的交互操作。
作为具体的实施方式,在该终端设备在响应触控事件的具体步骤可参见图2,该终端设备通过屏幕显示控件布局,并接收用户触控操作,生成触控事件,通过处理器确定该触控事件的屏幕触控位置,并将该屏幕触控位置与控件布局进行对比,确定该触控操作对应的控件,将该控件反馈至应用层,以执行该控件对应的操作,而上述将该触控事件对应的触控位置调整为目标触控位置,具体可以是在将该屏幕触控位置(也即上述触控位置)与控件布局进行对比之前,通过更改该触控位置的数值,使得后续与控件布局进行对比过程中产生不一样的结果,也就是说,在该终端设备在响应触控事件时,本该是不执行任何操作的,由于将该触控事件对应的触控位置调整为目标触控位置,则此时该终端设备在响应触控事件时执行该目标交互控件对应的交互操作。
在本实施例中,通过对误操作区域内的触控事件进行分析,确定该触控事件对应的目标交互控件,以便以该目标交互控件来响应该触控事件,能够精准地纠正用户的误操作,解决了现有技术中用户容易误操作导致触控与预想不符的问题。
图5示出了本申请一实施例提供的利用分类模型确定目标交互控件的示意图,参见图5,将所述一个或多个交互控件的历史触控数据输入待训练的分类模型,通过所述待训练的分类模型对所述历史触控数据进行聚类,确定各个所述交互控件对应的控件类别的类别中心触控坐标,以得到训练完成的分类模型。
在本实施例中,历史触控数据中包含了各个交互控件以及各个交互控件对应的多个历史触控坐标,也即对分类模型的训练属于有监督训练,将历史触控数据输入待训练的分类模型,以使分类模型对历史触控数据按照交互控件进行分类,分别对每个交互控件对应的多个历史触控坐标进行聚类,得到多个历史触控坐标的质心坐标,也即每个控件类别对应的类别中心触控坐标。
在本实施例中,如上述训练得到的分类模型的参数中包含了一个或多个控件类别及其对应的类别中心触控坐标,则上述将所述触控位置对应的触控坐标输入分类模型,通过所述分类模型对所述触控位置进行分类,得到所述触控坐标对应的控件类别,具体可参照图5,将所述触控坐标输入分类模型,通过所述分类模型确定与所述触控坐标距离最小的类别中心触控坐标对应的控件类别,并输出确定的控件类别。
应理解,上述对分类模型的训练过程可以是无监督训练,具体地,仅仅将上述一个或多个交互控件的历史触控数据中的多个坐标信息输入分类模型,让分类模型基于K-means算法进行无监督聚类,而K-means算法的K值具体可以等同于该一个或多个交互控件的数量,有关该K-means算法的具体详述可参考现有技术,在此不再赘述。
应理解,上述输出触控坐标对应的控件类别之后,可以根据该触控坐标,调整该触控坐标对应的控件类别的类别中心触控坐标,具体地,以预设的调整权重,将该类别中心触控坐标往该触控坐标的方向进行偏移。也即将该触控坐标作为新产生的历史触控数据,重新回归到该分类模型中,使得该分类模型随着用户的多次触控,逐渐迎合用户的触控习惯。
图6示出了本申请另一实施例提供的屏幕触控的优化方法的实现流程图,参见图6,相对于图3所述实施例,本实施例公开的优化方法还包括S601~S603,具体详述如下:
进一步地,所述优化方法,还包括:
在S601中,对所述屏幕画面中包含的一个或多个交互控件进行识别,得到所述一个或多个交互控件分别对应的交互区域。
在本实施例中,上述对所述屏幕画面中包含的一个或多个交互控件进行识别,得到所述一个或多个交互控件分别对应的交互区域,具体可以为:截取当前屏幕显示的屏幕画面,得到屏幕截图;对该屏幕截图进行图像识别处理,识别出该屏幕截图中的一个或多个交互控件及对应的交互区域,示例性地,交互控件可以是操作按键,交互区域可以是操作按键的显示区域。上述对该屏幕截图进行图像识别处理,可以是基于图像分割算法,从该屏幕截图中截取多个候选区域;将每个候选区域与多个预设交互控件的图标进行匹配,匹配成功的候选区域则被识别为上述交互控件的交互区域。
应理解,上述所述屏幕画面中包含的一个或多个交互控件进行识别,得到所述一个或多个交互控件分别对应的交互区域,具体还可以为:截取当前屏幕显示的屏幕画面,得到屏幕截图;对该屏幕截图进行图像预处理后输入至预先训练好的图像识别模型,该图像识别模型输出一个或多个交互控件及其对应的交互区域;该图像识别模型可以是基于深度学习训练得到的卷积神经网络,该图像识别模型的训练集可以为多张包含各个交互控件的训练屏幕截图,且每张训练屏幕截图上标记有各个交互控件及其交互区域。应理解,该图像识别模型的训练数据集可以是根据该屏幕截图对应的运行应用确定的,也即每个不同的运行应用对该图像识别模型进行训练的训练数据集不同。
在S602中,基于各个所述交互控件的交互区域确定各个所述交互控件对应的邻近区域。
在本实施例中,各个所述交互控件对应的邻近区域为与对应的交互区域不重合的区域。该邻近区域指的是用户触控该交互控件时可能会误触碰的区域。
在一种可能实现的方式中,上述基于各个所述交互控件的交互区域确定各个所述交互控件对应的邻近区域,具体可以为:以一个交互控件为例进行说明,基于预设的邻近距离,将该交互控件的交互区域往外距离该邻近距离的区域为该交互控件的邻近区域,具体可参照图7,图7示出了本申请一实施例提供的邻近区域的示意图,以控件1为例,该控件1的外圆与内圆的距离为上述邻近距离,该控件1的内圆为该控件1的交互区域71,该控件1周围的环形区域即为该控件1的邻近区域72。应理解,该预设的邻近距离可以是预先设置的固定值,也可以是根据该交互控件的交互区域71的面积大小确定的值。
如图7所示,按照上述可能实现的方式得到的该控件1的邻近区域72,与图示的控件5的交互区域之间存在重合的区域73,因此,进一步地,如图8所示,本实施例公开的方法S602包括S6021~S6022,具体详述如下:
所述基于各个所述交互控件的交互区域确定各个所述交互控件对应的邻近区域,包括:
在S6021中,将所述屏幕画面中,与第一交互区域的边缘的距离小于或等于邻近距离的区域,确定为第一交互控件对应的第一邻近区域。
在本实施例中,所述第一交互控件为所述一个或多个交互控件中的任一交互控件,所述第一交互区域为所述第一交互控件的交互区域71。具体可参照图7,该第一交互控件可以为图7所示的控件1,则该第一邻近区域为控件1外围的环形区域72。本实施例中有关S6021的详述可参照上述确定邻近区域的相关描述,在此不再赘述。
在S6022中,若所述第一邻近区域与其他交互控件对应的交互区域存在交集,则调整所述第一邻近区域,以使所述第一邻近区域与各个交互控件的交互区域之间不存在交集。
在本实施例中,参照图7,当该第一邻近区域为该控件1的邻近区域72时,该第一邻近区域与控件5的交互区域存在交集,需要调整该第一邻近区域,以使该第一邻近区域与任一交互控件的交互区域之间不存在交集,避免重复用户的一次触控事件触发两个控件的操作,造成用户触控混乱。
在一种可能实现的方式中,上述调整该第一邻近区域,具体可以为,将该第一邻近区域往远离上述交集的方向进行逐步调整,直至该第一邻近区域与任一交互控件的交互区域之间不存在交集;调整后的第一邻近区域具体可参照图9,图9示出了本申请另一实施例提供的邻近区域的示意图,调整后的第一邻近区域具体可以为图9所示的控件1的邻近区域91。
在S603中,将各个所述交互控件对应的邻近区域进行组合,得到误操作区域。
在本实施例中,该误操作区域指的是用户想要对交互控件进行触控操作但产生了误操作时,该误操作可能触控到的区域。示例性地,将图9所示的屏幕画面内各个交互控件的邻近区域进行组合,即可得到该误操作区域,该误操作区域具体可以参照图10,图10示出了本申请一实施例提供的误操作区域的示意图,图10中的黑色区域100即为上述误操作区域。
在本实施例中,通过确定用户的误操作区域,既可以减少计算量,不考虑误操作区域以外的其他误操作,也可以先一步预估用户误操作时可能的触控区域,以便后续精准地纠正用户的误操作。
应理解,上述S601~S603的步骤可以在S301之前执行,也可以在S301之后执行,在此不作限定。
进一步地,本实施例公开的方法S302包括S604,具体详述如下:
所述根据所述触控位置确定所述触控事件对应的目标交互控件,包括:
在S604中,若所述触控位置对应的触控坐标位于至少两个交互控件的邻近区域的交集处,则从所述至少两个交互控件中确定所述触控事件对应的目标交互控件。
在一种可能实现的方式中,根据各个交互控件的邻近区域进行组合得到误操作区域,则上述触控坐标处于该误操作区域内时,该触控坐标也处于某个交互控件的邻近区域,一般来说,上述根据所述触控坐标,确定所述触控事件对应的目标交互控件,具体可以为:确定该触控坐标所在区域为哪个交互控件的邻近区域,则表示该触控坐标与确定的交互控件相对应,也即该确定的交互控件为上述目标交互控件。但此时存在一种至少两个交互控件的邻近区域之间部分重合的情况,参见图9,以控件1和控件2为例进行说明,图9中控件1的邻近区域91与控件2的邻近区域92之间存在重合区域93,也即当该触控坐标位于该重合区域93时,需要进一步判断该触控坐标对应的目标交互控件究竟是哪个控件。以该触控坐标位于图9所示的重合区域93为例进行说明,上述从所述至少两个交互控件中确定所述触控事件对应的目标交互控件,具体可以为:选取控件1或控件2作为该触控坐标对应的目标交互控件,也即该触控事件对应的目标交互控件;示例性地,将控件1的邻近区域与控件2的邻近区域之间的重合区域93进行平均划分,若该触控坐标位于靠近控件1的部分重合区域931,则该触控坐标对应的目标交互控件为该控件1;若该触控坐标位于靠近控件2的部分重合区域932,则该触控坐标对应的目标交互控件为该控件2。
需要说明的是,此处选取控件1或控件2作为该触控坐标对应的目标交互控件的方式并非限定。
进一步地,如图11所示,本实施例公开的方法S604包括S6041~S6043,具体详述如下:
所述从所述至少两个交互控件中确定所述触控位置对应的触控坐标对应的目标交互控件,包括:
在S6041中,确定所述至少两个交互控件分别对应的操作间隔。
在本实施例中,所述操作间隔用于指示交互控件对应的交互操作的触发时间间隔,也可以说是该交互控件的冷却时间;该操作间隔具体可以根据该交互控件确定的,示例性地,每个交互控件配置有对应的操作间隔,具体地,在上述S601的预设交互控件预先配置有对应的操作间隔,当S601识别出一个与预设交互控件相匹配的交互控件时,也即确定了该交互控件的操作间隔。参见图9,确定控件1以及控件2分别对应的操作间隔,示例性地,控件1的操作间隔为2s,控件2的操作间隔为4s。
在S6042中,获取所述至少两个交互控件分别对应的最近一次交互操作的触发时刻距离当前时刻的间隔时长。
在本实施例中,以一个交互控件为例进行说明,该交互控件的最近一次交互操作的触发时刻,指的是上一次响应基于用户触控操作而产生的触控事件并执行该交互控件的操作时的时刻,也即最近一次执行该交互控件的时刻。应理解,即使上一次触控事件是用户的误操作所产生的,只要以执行交互控件的操作作为响应,则该误操作也属于最近一次交互操作。该间隔时长用于表征该交互控件至今为止未被触控的时间,确定该间隔时长以便于后续与对应的操作间隔进行比较。
在S6043中,从所述至少两个交互控件中,选取对应的间隔时长大于或等于对应的操作间隔的交互控件,作为所述触控事件对应的目标交互控件。
在本实施例中,以一个交互控件为例进行说明,若该交互控件的间隔时长大于或等于该交互控件的操作间隔,则表示该交互控件的上一次操作已经过去了足够长的时间,可以接收下一次操作了,也就是说该交互控件已经冷却完毕,随时可以再次被触控,则此时该交互控件应当作为该触控事件对应的目标交互控件。通过比较一个交互控件的间隔时长和操作间隔,避免了用户的误操作被识别为无效操作。
应理解,在上述S601识别交互控件的步骤之前,可以预先设置未到达操作间隔的交互控件的图标与已到达操作间隔的交互控件的图标的差异,并在S601识别交互控件时的同时识别该差异,以确定识别得到的交互控件的上一次操作距今是否已到达对应的操作间隔;以游戏技能为例,未到达操作间隔的交互控件的显示区域上,一般显示有对应的以秒为单位的剩余时间,表示对应的间隔时长与对应的操作间隔之间的差值;若该交互控件的显示区域上没有显示剩余时间,则表示该交互控件的上一次操作距今已到达对应的操作间隔;特别地,存在游戏技能未学习(当前还不能使用)的情况,若该交互控件的亮度值低于阈值,可以将该交互控件识别为未准备好接收下一次操作,此时该交互控件的操作间隔为无限大。应理解,若以S601识别的结果作为该交互控件的上一次操作距今是否已到达对应的操作间隔的基准,则需要实时监控屏幕画面,以及时得知该交互控件是否已到达对应的操作间隔。
在本实施例中,若存在至少两个对应的间隔时长大于对应的操作间隔的交互控件,也即需要进一步确定该触控事件对应的目标交互控件,来保证该目标交互控件的唯一性。在存在至少两个对应的间隔时长大于对应的操作间隔的交互控件的情况下,上述从上述至少两个交互控件中选取该触控事件对应的目标交互控件,具体可按照以下选取规则:
示例性地,选择对应的间隔时长最短的交互控件作为所述触控事件对应的目标交互控件,也就是说,选择用户最近操作的交互控件为目标交互控件,以满足用户想要重复使用该交互控件的需求。
示例性地,选择对应的操作间隔与对应的间隔时长之间的差值最短的交互控件作为所述触控事件对应的目标交互控件,也就是说,选择刚好能够接收下一次操作的交互控件(也即冷却刚好的交互控件),以满足用户迫切想要使用该交互控件的需求。
示例性地,选择对应的操作间隔最短的交互控件作为所述触控事件对应的目标交互控件,也就是说,选择被触控后最快重新被触控(也即冷却时间最短)的交互控件,以满足用户想要在一定时间内触控足够多的交互控件的需求。
示例性地,选择历史操作频率最高的交互控件作为所述触控事件对应的目标交互控件,也就是说,选择用户最常使用的交互控件,以迎合用户的使用习惯;应理解,各个交互控件的历史操作频率可以从各个交互控件的历史触控数据中确定。
如图12所示,图12为一个实施例中确定当前显示的屏幕画面中包含的一个或多个交互控件的实现流程图,在本申请实施例中,确定当前显示的屏幕画面中包含的一个或多个交互控件,包括以下步骤:
在S1201中,确定所述屏幕画面对应的应用;
在本实施例中,一般来说,当终端设备运行一个应用时,屏幕触控比未运行应用时更加需要优化。因此可以通过确定当前显示的屏幕画面对应的应用,从而针对该应用进行屏幕触控的优化。
在一种可能实现的方式中,上述确定当前显示的屏幕画面对应的应用,具体可以是,从该终端设备的后台中获取当前运行的应用标识,从而通过该应用标识确定上述应用;也可以是,截取当前显示的屏幕画面,并通过图像识别算法识别出该屏幕画面对应的应用。
在S1202中,基于所述应用的配置数据,确定所述屏幕画面中包含的一个或多个交互控件,以及与所述交互控件对应的误操作区域。
在本实施例中,所述配置数据包括所述应用的交互控件布局信息和/或控件优化权重。
在一种可能实现的方式中,若该配置数据为交互控件布局信息,该交互控件布局信息包括各个控件对应的区域位置,则上述基于所述应用的配置数据,确定所述屏幕画面中包含的一个或多个交互控件,具体可以为:根据该交互控件布局信息,确定该屏幕画面中的各个交互控件对应的区域位置,该各个控件可以为上述一个或多个交互控件。示例性地,该交互控件布局信息指的是该应用默认的或用户根据该应用自定义的配置数据,例如游戏中的各种按键布局方案。通过该交互控件布局信息,可以针对性识别出该应用的各交互控件,例如通过游戏的按键布局方案确定各个游戏按键的区域位置,不需要识别屏幕画面中所有可交互的控件,可以减少识别屏幕画面中包含的一个或多个交互控件的计算量。
在另一种可能实现的方式中,若该配置数据为控件优化权重,该控件优化权重包括各个控件的优化权重,则上述基于所述应用的配置数据,确定所述屏幕画面中包含的一个或多个交互控件,具体可以为:参照上述S301确定该屏幕画面中所有可交互的控件,根据该控件优化权重,确定需要优化的可交互的控件作为上述一个或多个交互控件,具体地,需要优化的可交互的控件的优化权重大于或等于预设的第一权重阈值。参见图9,该屏幕画面中包含了5个交互控件,其他可交互的控件未显示,可以减少不需要优化的控件的计算量,提高优化效率。应理解,在确定上述误操作区域时,可以从上述屏幕画面中选取待优化控件,该待优化控件的优化权重大于或等于预设的第二权重阈值,其中,第二权重阈值大于或等于上述第一权重阈值;根据各个待优化控件的邻近区域确定上述误操作区域,进一步提高效率;示例性地,图10中该屏幕画面包含了5个交互控件,但该操作区域只包含了控件1、2、3的邻近区域。
在一种可能的实现方式中,该配置数据可以包括交互控件布局信息以及控件优化权重,也即上述基于所述应用的配置数据,确定所述屏幕画面中包含的一个或多个交互控件,具体可以为:根据该交互控件布局信息,确定该屏幕画面中的各个控件对应的区域位置,根据该控件优化权重,从各个控件中确定上述一个或多个交互控件。
应理解,该配置数据还可以包括各个控件的预设图标以及操作间隔,以便在上述相关的步骤中起到一定的作用。
对应于上文实施例所述的方法,图13示出了本申请一实施例公开的装置的结构示意图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图13,该屏幕触控的优化装置包括:触控事件监控模块131,用于接收当前屏幕的触控事件,获取所述触控事件的触控位置;所述当前屏幕的屏幕画面中包含一个或多个交互控件;目标交互控件确定模块132,用于若所述触控位置处于所述一个或多个交互控件对应的误操作区域内,则根据所述触控位置确定所述触控事件对应的目标交互控件;触控事件响应模块133,用于响应于所述触控事件,执行所述目标交互控件对应的交互操作。
可选的,该目标交互控件确定模块132,包括:分类模块,用于将所述触控位置对应的触控坐标输入分类模型,通过所述分类模型对所述触控坐标进行分类,得到所述触控坐标对应的控件类别;所述分类模型是基于所述一个或多个交互控件的历史触控数据训练得到的;该目标交互控件确定模块132还用于将所述控件类别对应的交互控件确定为目标交互控件。
可选的,该屏幕触控的优化装置还包括:分类模型训练模块,用于将所述一个或多个交互控件的历史触控数据输入待训练的分类模型,通过所述待训练的分类模型对所述历史触控数据进行聚类,确定各个所述交互控件对应的控件类别的类别中心触控坐标,以得到训练完成的分类模型。上述分类模块,还用于将所述触控坐标输入所述训练完成的分类模型,通过所述训练完成的分类模型确定与所述触控坐标距离最小的类别中心触控坐标对应的控件类别,并输出确定的控件类别。
可选的,该屏幕触控的优化装置还包括:交互区域识别模块,用于对所述屏幕画面中包含的一个或多个交互控件进行识别,得到所述一个或多个交互控件分别对应的交互区域;邻近区域识别模块,用于基于各个所述交互控件的交互区域确定各个所述交互控件对应的邻近区域,各个所述交互控件对应的邻近区域为与对应的交互区域不重合的区域;误操作区域识别模块,用于将各个所述交互控件对应的邻近区域进行组合,得到误操作区域。
可选的,该目标交互控件确定模块132,还用于若所述触控位置对应的触控坐标位于至少两个交互控件的邻近区域的交集处,则从所述至少两个交互控件中确定所述触控事件对应的目标交互控件。
可选的,该目标交互控件确定模块132,还包括:操作间隔确定模块,用于确定所述至少两个交互控件分别对应的操作间隔,所述操作间隔用于指示交互控件对应的交互操作的触发时间间隔;间隔时长获取模块,用于获取所述至少两个交互控件分别对应的最近一次交互操作的触发时刻距离当前时刻的间隔时长;该目标交互控件确定模块132,还用于从所述至少两个交互控件中,选取对应的间隔时长大于或等于对应的操作间隔的交互控件,作为所述触控事件对应的目标交互控件。
可选的,该目标交互控件确定模块132,还用于若存在至少两个对应的间隔时长大于对应的操作间隔的交互控件,则按照选取规则从所述至少两个对应的间隔时长大于对应的操作间隔的交互控件中选取目标交互控件;其中,所述选取规则包括以下中的任一种:选择对应的间隔时长最短的交互控件作为所述触控事件对应的目标交互控件;或选择对应的操作间隔与对应的间隔时长之间的差值最短的交互控件作为所述触控事件对应的目标交互控件;或选择对应的操作间隔最短的交互控件作为所述触控事件对应的目标交互控件;或选择历史操作频率最高的交互控件作为所述触控事件对应的目标交互控件。
可选的,上述邻近区域识别模块,还用于将所述屏幕画面中,与第一交互区域的边缘的距离小于或等于邻近距离的区域,确定为第一交互控件对应的第一邻近区域,所述第一交互控件为所述一个或多个交互控件中的任一交互控件,所述第一交互区域为所述第一交互控件的交互区域;上述邻近区域识别模块还包括:邻近区域调整模块,用于若所述第一邻近区域与其他交互控件对应的交互区域存在交集,则调整所述第一邻近区域,以使所述第一邻近区域与各个交互控件的交互区域之间不存在交集。
可选的,该屏幕触控的优化装置还包括:应用识别模块,用于确定所述屏幕画面对应的应用;配置数据分析模块,用于基于所述应用的配置数据,确定所述屏幕画面中包含的一个或多个交互控件,以及与所述交互控件对应的误操作区域。
需要说明的是,上述装置之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图14示出了本申请一实施例公开的终端设备的结构示意图。如图14所示,该实施例的终端设备14包括:至少一个处理器140(图14中仅示出一个处理器)、存储器141以及存储在所述存储器141中并可在所述至少一个处理器140上运行的计算机程序142,所述处理器140执行所述计算机程序142时实现上述任意各个方法实施例中的步骤。
所述终端设备14可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括,但不仅限于,处理器140、存储器141。本领域技术人员可以理解,图14仅仅是终端设备14的举例,并不构成对终端设备14的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器140可以是中央处理单元(Central Processing Unit,CPU),该处理器140还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器141在一些实施例中可以是所述终端设备14的内部存储单元,例如终端设备14的硬盘或内存。所述存储器141在另一些实施例中也可以是所述终端设备14的外部存储设备,例如所述终端设备14上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器141还可以既包括所述终端设备14的内部存储单元也包括外部存储设备。所述存储器141用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器141还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还公开了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例公开了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所公开的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请保护范围之内。
Claims (14)
1.一种屏幕触控的优化方法,其特征在于,包括:
接收当前屏幕的触控事件,获取所述触控事件的触控位置;所述当前屏幕的屏幕画面中包含一个或多个交互控件;
若所述触控位置处于所述一个或多个交互控件对应的误操作区域内,则根据所述触控位置确定所述触控事件对应的目标交互控件;
响应于所述触控事件,执行所述目标交互控件对应的交互操作。
2.根据权利要求1所述的方法,其特征在于,所述根据所述触控位置,确定所述触控事件对应的目标交互控件,包括:
将所述触控位置对应的触控坐标输入分类模型,通过所述分类模型对所述触控坐标进行分类,得到所述触控坐标对应的控件类别;所述分类模型是基于所述一个或多个交互控件的历史触控数据训练得到的;
将所述控件类别对应的交互控件确定为目标交互控件。
3.根据权利要求2所述的方法,其特征在于,所述将所述触控位置对应的触控坐标输入分类模型,输出所述触控坐标对应的控件类别之前,还包括:
将所述一个或多个交互控件的历史触控数据输入待训练的分类模型,通过所述待训练的分类模型对所述历史触控数据进行聚类,确定各个所述交互控件对应的控件类别的类别中心触控坐标,以得到训练完成的分类模型;
所述将所述触控坐标输入分类模型,通过所述分类模型对所述触控坐标进行分类,得到所述触控坐标对应的控件类别,包括:
将所述触控坐标输入所述训练完成的分类模型,通过所述训练完成的分类模型确定与所述触控坐标距离最小的类别中心触控坐标对应的控件类别,并输出确定的控件类别。
4.根据权利要求1所述的方法,其特征在于,所述优化方法,还包括:
对所述屏幕画面中包含的一个或多个交互控件进行识别,得到所述一个或多个交互控件分别对应的交互区域;
基于各个所述交互控件的交互区域确定各个所述交互控件对应的邻近区域,各个所述交互控件对应的邻近区域为与对应的交互区域不重合的区域;
将各个所述交互控件对应的邻近区域进行组合,得到误操作区域。
5.根据权利要求4所述的方法,其特征在于,所述根据所述触控位置,确定所述触控事件对应的目标交互控件,包括:
若所述触控位置对应的触控坐标位于至少两个交互控件的邻近区域的交集处,则从所述至少两个交互控件中确定所述触控事件对应的目标交互控件。
6.根据权利要求5所述的方法,其特征在于,所述从所述至少两个交互控件中确定所述触控事件对应的目标交互控件,包括:
确定所述至少两个交互控件分别对应的操作间隔,所述操作间隔用于指示交互控件对应的交互操作的触发时间间隔;
获取所述至少两个交互控件分别对应的最近一次交互操作的触发时刻距离当前时刻的间隔时长;
从所述至少两个交互控件中,选取对应的间隔时长大于或等于对应的操作间隔的交互控件,作为所述触控事件对应的目标交互控件。
7.根据权利要求6所述的方法,其特征在于,所述从所述至少两个交互控件中,选取对应的间隔时长大于对应的操作间隔的交互控件,作为所述触控事件对应的目标交互控件,包括:
若存在至少两个对应的间隔时长大于对应的操作间隔的交互控件,则按照选取规则从所述至少两个对应的间隔时长大于对应的操作间隔的交互控件中选取目标交互控件;
其中,所述选取规则包括以下中的任一种:
选择对应的间隔时长最短的交互控件作为所述触控事件对应的目标交互控件;或
选择对应的操作间隔与对应的间隔时长之间的差值最短的交互控件作为所述触控事件对应的目标交互控件;或
选择对应的操作间隔最短的交互控件作为所述触控事件对应的目标交互控件;或
选择历史操作频率最高的交互控件作为所述触控事件对应的目标交互控件。
8.根据权利要求4所述的方法,其特征在于,所述基于各个所述交互控件的交互区域确定各个所述交互控件对应的邻近区域,包括:
将所述屏幕画面中,与第一交互区域的边缘的距离小于或等于邻近距离的区域,确定为第一交互控件对应的第一邻近区域,所述第一交互控件为所述一个或多个交互控件中的任一交互控件,所述第一交互区域为所述第一交互控件的交互区域;
若所述第一邻近区域与其他交互控件对应的交互区域存在交集,则调整所述第一邻近区域,以使所述第一邻近区域与各个交互控件的交互区域之间不存在交集。
9.根据权利要求1-8所述的方法,其特征在于,所述优化方法,还包括:
确定所述屏幕画面对应的应用;
基于所述应用的配置数据,确定所述屏幕画面中包含的一个或多个交互控件,以及与所述交互控件对应的误操作区域。
10.根据权利要求9所述的方法,其特征在于,所述配置数据包括所述应用的交互控件布局信息和/或控件优化权重。
11.根据权利要求1所述的方法,其特征在于,所述响应于所述触控事件,执行所述目标交互控件对应的交互操作,包括:
将所述触控事件对应的触控位置调整为目标触控位置;所述目标触控位置用于触发进行所述目标交互控件对应的交互操作。
12.一种屏幕触控的优化装置,其特征在于,包括:
触控事件监控模块,用于接收当前屏幕的触控事件,获取所述触控事件的触控位置;所述当前屏幕的屏幕画面中包含一个或多个交互控件;
目标交互控件确定模块,用于若所述触控位置处于所述一个或多个交互控件对应的误操作区域内,则根据所述触控位置确定所述触控事件对应的目标交互控件;
触控事件响应模块,用于响应于所述触控事件,执行所述目标交互控件对应的交互操作。
13.一种终端设备,其特征在于,包括:存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1至11任一所述的方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至11任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110844833.6A CN113760123A (zh) | 2021-07-26 | 2021-07-26 | 屏幕触控的优化方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110844833.6A CN113760123A (zh) | 2021-07-26 | 2021-07-26 | 屏幕触控的优化方法、装置、终端设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113760123A true CN113760123A (zh) | 2021-12-07 |
Family
ID=78788033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110844833.6A Pending CN113760123A (zh) | 2021-07-26 | 2021-07-26 | 屏幕触控的优化方法、装置、终端设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113760123A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114397997A (zh) * | 2022-03-25 | 2022-04-26 | 深圳市掌视互娱网络有限公司 | 互动操作的控制方法和多屏互动系统 |
CN114416008A (zh) * | 2022-03-28 | 2022-04-29 | 深圳市掌视互娱网络有限公司 | 多屏互动系统及其操作方法 |
CN114968467A (zh) * | 2022-07-14 | 2022-08-30 | 中国工商银行股份有限公司 | 控件信息的生成方法、装置及电子设备 |
CN118068987A (zh) * | 2024-04-22 | 2024-05-24 | 深圳市明亚顺科技有限公司 | 基于显示屏的触控校准方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103677408A (zh) * | 2013-11-27 | 2014-03-26 | 广东明创软件科技有限公司 | 防止误触摸的方法及其移动终端 |
KR20170133776A (ko) * | 2016-05-26 | 2017-12-06 | 주식회사 한글과컴퓨터 | 단말기의 다중 터치 조작에 따른 처리방법 및 그 장치 |
CN109745699A (zh) * | 2018-12-29 | 2019-05-14 | 维沃移动通信有限公司 | 一种响应触控操作的方法及终端设备 |
CN109814797A (zh) * | 2019-01-16 | 2019-05-28 | 努比亚技术有限公司 | 触控控制方法及移动终端、计算机可读存储介质 |
CN109885233A (zh) * | 2019-02-21 | 2019-06-14 | Oppo广东移动通信有限公司 | 屏幕内容识别方法、装置、电子设备及存储介质 |
CN112433661A (zh) * | 2020-11-18 | 2021-03-02 | 上海哔哩哔哩科技有限公司 | 交互对象选择方法及装置 |
CN112905103A (zh) * | 2021-03-05 | 2021-06-04 | 北京小米移动软件有限公司 | 误触处理方法、装置及存储介质 |
-
2021
- 2021-07-26 CN CN202110844833.6A patent/CN113760123A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103677408A (zh) * | 2013-11-27 | 2014-03-26 | 广东明创软件科技有限公司 | 防止误触摸的方法及其移动终端 |
KR20170133776A (ko) * | 2016-05-26 | 2017-12-06 | 주식회사 한글과컴퓨터 | 단말기의 다중 터치 조작에 따른 처리방법 및 그 장치 |
CN109745699A (zh) * | 2018-12-29 | 2019-05-14 | 维沃移动通信有限公司 | 一种响应触控操作的方法及终端设备 |
CN109814797A (zh) * | 2019-01-16 | 2019-05-28 | 努比亚技术有限公司 | 触控控制方法及移动终端、计算机可读存储介质 |
CN109885233A (zh) * | 2019-02-21 | 2019-06-14 | Oppo广东移动通信有限公司 | 屏幕内容识别方法、装置、电子设备及存储介质 |
CN112433661A (zh) * | 2020-11-18 | 2021-03-02 | 上海哔哩哔哩科技有限公司 | 交互对象选择方法及装置 |
CN112905103A (zh) * | 2021-03-05 | 2021-06-04 | 北京小米移动软件有限公司 | 误触处理方法、装置及存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114397997A (zh) * | 2022-03-25 | 2022-04-26 | 深圳市掌视互娱网络有限公司 | 互动操作的控制方法和多屏互动系统 |
CN114397997B (zh) * | 2022-03-25 | 2022-06-17 | 深圳市掌视互娱网络有限公司 | 互动操作的控制方法和多屏互动系统 |
CN114416008A (zh) * | 2022-03-28 | 2022-04-29 | 深圳市掌视互娱网络有限公司 | 多屏互动系统及其操作方法 |
CN114968467A (zh) * | 2022-07-14 | 2022-08-30 | 中国工商银行股份有限公司 | 控件信息的生成方法、装置及电子设备 |
CN118068987A (zh) * | 2024-04-22 | 2024-05-24 | 深圳市明亚顺科技有限公司 | 基于显示屏的触控校准方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113760123A (zh) | 屏幕触控的优化方法、装置、终端设备及存储介质 | |
US10216406B2 (en) | Classification of touch input as being unintended or intended | |
EP3167352B1 (en) | Touch classification | |
EP2579130B1 (en) | Adaptive method and device for user touch operation mode | |
US10372328B2 (en) | Intelligent touchscreen keyboard with finger differentiation | |
KR102614046B1 (ko) | 생체 데이터를 획득하기 위한 방법 및 그 전자 장치 | |
CN107818251B (zh) | 一种人脸识别方法及移动终端 | |
CN111507146B (zh) | 指纹辨识装置与方法 | |
US10642419B2 (en) | Probabilistic palm rejection using spatiotemporal touch features and iterative classification | |
US20190339858A1 (en) | Method and apparatus for adjusting virtual key of mobile terminal | |
CN112445410B (zh) | 触控事件识别方法、装置及计算机可读存储介质 | |
EP3427139B1 (en) | Electronic device and input processing method thereof | |
CN109710111B (zh) | 一种防误触方法及电子设备 | |
CN116661618A (zh) | 一种触摸屏触摸模式切换方法及装置 | |
CN110737341B (zh) | 变更接触物件的识别种类的方法 | |
US20230070059A1 (en) | False touch rejection method, terminal device, and storage medium | |
US11482024B2 (en) | Electronic device and method for processing writing input | |
US20210117080A1 (en) | Method and apparatus for adjusting virtual key of mobile terminal | |
US9274703B2 (en) | Method for inputting instruction and portable electronic device and computer readable recording medium | |
US11269443B2 (en) | Method for distinguishing touch inputs on display from function of recognizing fingerprint and electronic device employing method | |
WO2024016809A1 (zh) | 刷掌验证的引导方法、装置、终端、存储介质及程序产品 | |
CN111813639B (zh) | 设备运行等级的评定方法、装置、存储介质及电子设备 | |
CN117690117A (zh) | 服务于数据采集的结合语义分析的图像识别方法及装置 | |
KR20130098754A (ko) | 입력 인터페이스 장치 및 방법 | |
CN115268699A (zh) | 一种基于多通道的触摸驱动系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |