CN107239222A - 一种触摸屏的操控方法及终端设备 - Google Patents
一种触摸屏的操控方法及终端设备 Download PDFInfo
- Publication number
- CN107239222A CN107239222A CN201710409921.7A CN201710409921A CN107239222A CN 107239222 A CN107239222 A CN 107239222A CN 201710409921 A CN201710409921 A CN 201710409921A CN 107239222 A CN107239222 A CN 107239222A
- Authority
- CN
- China
- Prior art keywords
- predeterminable area
- type
- user
- touch
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Abstract
本发明提供了一种触摸屏的操控方法及终端设备,其中,该方法包括:监测到用户在触摸屏的预设区域执行操作时,识别用户执行操作时的操作手势类型及识别用户在执行所述操作时的注视信息;在判断上述操作手势类型与预设区域对应的预设手势类型一致,且上述注视信息满足预设条件时,根据预设区域对应的预设手势类型,及预设的操作手势类型与控制指令之间的映射关系,确定上述操作手势类型对应的控制指令,该控制指令用于控制终端设备执行终端设备上功能键的功能;执行操作手势类型对应的控制指令。本发明中,提高了终端设备响应用户操作的准确性,减少了执行功能键操作与一般触摸操作相混淆的情况,使得用户的体验较佳。
Description
技术领域
本发明涉及终端技术领域,具体而言,涉及一种触摸屏的操控方法及终端设备。
背景技术
随着终端设备技术的不断发展,当前终端设备越来越趋向于大屏化,即终端设备的屏占比越来越高,为了进一步提高终端设备的屏占比,现在越来越多的终端设备将位于终端设备上触摸屏之外的功能键设置为虚拟键的形式,悬浮在触摸屏上。
但是,触摸屏上悬浮有虚拟按键的位置一般会显示一个带有灰度的图标,这样会影响用户对此位置处触摸屏上显示的内容的观看及操作,使得触摸屏的有效面积变小,另外,虚拟按键的隐藏和调出操作也会对用户的体验造成不利的影响。
现有技术中,为了解决设置虚拟按键出现的上述问题,既不在触摸屏上设置虚拟按键,也不在触摸屏之外设置功能键,终端设备通过识别用户在触摸屏的特定区域执行的预先设定的特定手势,来执行用户触发的操作,以此,来实现功能键的功能。但是,上述方式中,用户在特定区域执行操作时,容易出现执行功能键操作与一般触摸屏操作相混肴的情况,导致终端设备不能准确响应用户的操作,影响用户的体验效果。
发明内容
有鉴于此,本发明实施例的目的在于提供一种触摸屏的操控方法及终端设备,以解决现有技术中通过识别用户在触摸屏的特定区域执行的预先设定的特定手势,来实现终端设备的功能键的功能,容易出现执行功能键的操作与一般触摸屏的触摸操作相混淆的情况,导致终端设备不能准确响应用户的操作,影响用户的体验效果的问题。
第一方面,本发明实施例提供了一种触摸屏的操控方法,其中,所述方法包括:
监测到用户在触摸屏的预设区域执行操作时,识别所述用户执行操作时的操作手势类型及识别所述用户在执行所述操作时的注视信息;
在判断所述操作手势类型与所述预设区域对应的预设手势类型一致,且所述注视信息满足预设条件时,根据所述预设区域对应的所述预设手势类型,及预设的操作手势类型与控制指令之间的映射关系,确定所述操作手势类型对应的控制指令,所述控制指令用于控制终端设备执行所述终端设备上功能键的功能;
执行所述操作手势类型对应的控制指令。
结合第一方面,本发明实施例提供了上述第一方面的第一种可能的实现方式,其中,所述功能键包括以下中的至少一种:
返回键、菜单键和Home键。
结合第一方面,本发明实施例提供了上述第一方面的第二种可能的实现方式,其中,所述预设区域的个数与所述功能键的个数相等,且所述预设区域对应的预设手势类型与所述功能键对应的控制指令一一对应。
结合第一方面的第二种可能的实现方式,本发明实施例提供了上述第一方面的第三种可能的实现方式,其中,
当所述预设区域的个数大于1个时,
根据以下步骤判断所述操作手势类型与所述预设区域对应的预设手势类型是否一致,包括:
确定所述操作手势类型所属的预设区域;
将所述操作手势类型与所述操作手势类型所属的预设区域对应的预设手势类型进行匹配;
根据匹配结果,判断所述操作手势类型与所述操作手势类型所属的预设区域对应的预设手势类型是否一致。
结合第一方面至第一方面的第三种可能的实现方式中的任一项,本发明实施例提供了上述第一方面的第四种可能的实现方式,其中,所述预设区域为矩形,且所述预设区域的下边与所述触摸屏的下边缘重合。
结合第一方面的第四种可能的实现方式,本发明实施例提供了上述第一方面的第五种可能的实现方式,其中,当所述预设区域的个数大于1个时,所述预设区域并排且相邻地设置在所述触摸屏的水平方向上;
并且,并排设置的预设区域中第一个预设区域的左边与所述触摸屏的左边缘重合,并排设置的预设区域中最后一个预设区域的右边与所述触摸屏的右边缘重合。
结合第一方面,本发明实施例提供了上述第一方面的第六种可能的实现方式,其中,所述注视信息包括注视位置及所述用户注视所述注视位置时的注视时刻;
根据以下步骤判断所述注视信息是否满足预设条件,包括:
判断所述注视位置是否与预设位置匹配;
判断所述注视时刻与所述用户执行所述操作时的操作手势的发生时刻之间的时间差值是否在预设范围内。
结合第一方面,本发明实施例提供了上述第一方面的第七种可能的实现方式,其中,所述注视信息包括注视位置;
根据以下步骤判断所述注视信息是否满足预设条件,包括:
判断所述注视位置是否与预设位置匹配。
结合第一方面的第六种或者第一方面的第七种可能的实现方式,本发明实施例提供了上述第一方面的第八种可能的实现方式,其中,所述预设位置包括以下中的至少一种:
所述触摸屏之外的任意位置、所述终端设备的前置摄像头的预设范围内及所述触摸屏上与所述用户的操作位置之间的距离大于或等于预设距离处。
第二方面,本发明实施例提供了一种终端设备,其中,所述终端设备包括:
识别模块,用于监测到用户在触摸屏的预设区域执行操作时,识别所述用户执行操作时的操作手势类型及识别所述用户在执行所述操作时的注视信息;
确定模块,用于在判断所述操作手势类型与所述预设区域对应的预设手势类型一致,且所述注视信息满足预设条件时,根据所述预设区域对应的所述预设手势类型,及预设的操作手势类型与控制指令之间的映射关系,确定所述操作手势类型对应的控制指令,所述控制指令用于控制终端设备执行所述终端设备上功能键的功能;
执行模块,用于执行所述操作手势类型对应的控制指令。
在本发明实施例提供的触摸屏的操控方法及终端设备中,通过对用户执行操作时的操作手势在触摸屏上的位置、执行操作时的操作手势类型及用户在执行操作时的注视信息进行识别,来判断用户是否触发了终端设备上功能键对应的操作,提高了终端设备响应用户操作的准确性,减少了执行功能键操作与一般触摸操作相混淆的情况,使得用户的体验较佳。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的触摸屏的操控方法的流程图;
图2示出了本发明实施例所提供的触摸屏的操控方法中,终端设备界面的一种示意图;
图3示出了本发明实施例所提供的触摸屏的操控方法中,终端设备界面的第二种示意图;
图4示出了本发明实施例所提供的终端设备的结构示意图。
图标:11-前置摄像头;12-触摸屏;13-预设区域;14-第一预设区域;15-第二预设区域;16-第三预设区域。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到现有技术中,既不在触摸屏上设置虚拟按键,也不在触摸屏之外设置功能键,终端设备通过识别用户在触摸屏的特定区域执行的预先设定的特定手势,来执行用户触发的操作,以此,来实现功能键的功能时,容易出现执行功能键操作与一般触摸屏操作相混肴的情况,导致终端设备不能准确响应用户的操作,影响用户的体验效果。基于此,本发明实施例提供了一种触摸屏的操控方法及终端设备,下面通过实施例进行描述。
参考图1所示,本发明实施例提供了一种触摸屏的操控方法,其中,该方法包括步骤S110-S130,具体如下:
S110,监测到用户在触摸屏的预设区域执行操作时,识别上述用户执行操作时的操作手势类型及识别上述用户在执行上述操作时的注视信息;
S120,在判断上述操作手势类型与上述预设区域对应的预设手势类型一致,且上述注视信息满足预设条件时,根据上述预设区域对应的预设手势类型,及预设的操作手势类型与控制指令之间的映射关系,确定上述操作手势类型对应的控制指令,该控制指令用于控制终端设备执行终端设备上功能键的功能;
S130,执行上述操作手势类型对应的控制指令。
本发明实施例提供的方法适用于终端设备,该终端设备可以是智能手机、平板电脑、掌上电脑、个人数字助理(Personal Digital Assistant,PDA)、移动互联网设备(Mobile Internet Device,MID)、电子阅读器、多媒体播放器等具有触摸屏的终端设备,并且,本发明实施例提供的方法适用的终端设备具有识别用户的注视信息的功能。
具体的,上述预设区域既不占用屏幕空间又不影响屏幕内容的显示,或者对屏幕内容显示的影响比较小。
上述预设区域既不占用屏幕空间又不影响屏幕内容的显示,即终端上需要显示的内容在该预设区域内可以正常显示,在内容显示方面和触摸屏上的其它区域是一样的;另外,预设区域处没有任何多余的图标、符号、文字等标识,上述预设区域在视觉上和触摸屏上的其它区域是一样的。
在本发明实施例中,上述终端设备上的功能键可以是返回键、菜单键和Home键中的至少一种。
即本发明实施例中的终端设备上的功能键可以是一个、两个或者三个,对于不同的手机,功能键的个数是不同的,比如说,对于苹果手机,则可以只有一个,比如只有一个Home键,对于一些安卓手机,也可以是同时具有返回键、菜单键和Home键这三个,当然,苹果手机和安卓手机的功能键的个数并不局限于此。
在本发明实施例中,上述功能键可以是位于终端上的实体键,也可以是位于终端触摸屏上的虚拟键。
其中,作为一个实施例,上述预设区域为矩形,且上述预设区域的下边与触摸屏的下边缘重合。
并且,在本发明实施例中,上述预设区域的高度可以是1个像素,也可以是与触摸屏的高度一致,预设区域的高度在1个像素与触摸屏的高度值之间的任意取值均可以,本发明实施例并不对上述预设区域的具体高度进行限定。
但是,当预设区域的高度过小时,用户在预设区域进行操作时,需要在触摸屏的底部进行操作,不方便用户进行操作,导致用户体验效果不佳,当预设区域的高度过大时,在步骤S120中判断注视信息是否满足预设条件时,容易造成误判,从而导致终端设备无法准确识别用户的操作,尤其是在步骤S120中,当预设条件中的预设位置为终端设备的前置摄像头的预设范围内时,更容易导致误判。
上述前置摄像头的预设范围内指的是在前置摄像头附近位置处。
因此,为了减少上述问题的产生,在本发明实施例中,优选的,将上述预设区域的高度设置为触摸屏高度的1/2或者设置为触摸屏高度的1/3。这时,用户对预设区域的高度有较为直观的判定,方便用户的操作,并且能够减少误判的情况,使得终端设备能够准确识别用户的操作。
在本发明实施例中,上述预设区域的个数与功能键的个数相等,且预设区域对应的操作手势类型与功能键对应的控制指令一一对应。
具体的,上述预设区域与功能键之间为一一对应关系,即一个预设区域对应一个功能键。
比如说,终端设备上的功能键只有一个Home键,则预设区域的个数相应的也设置为一个,这时预设区域对应的预设手势类型用于执行Home键对应的控制指令,即用户在预设区域上执行该预设区域对应的预设手势类型的操作时,终端设备执行Home键对应的功能,比如说,在预设区域里预设的单击手势类型执行Home键的单击功能。
还比如说,终端设备上的功能键同时包括返回键、菜单键和Home键三个,则在终端设备上设置的预设区域的个数也是3个,每个预设区域内的预设手势类型用于执行一种功能键对应的功能。如果将上述三个预设区域记为预设区域1、预设区域2和预设区域3,则可以是预设区域1对应的预设手势类型用于执行返回键对应的功能,预设区域2对应的预设手势类型用于执行菜单键对应的功能,预设区域3对应的预设手势类型用于执行Home键对应的功能,上述只是列举了其中一种对应关系,上述对应关系并不局限于此。
上述预设手势类型可以是单击、双击、长按或者滑动等。
在本发明实施例中,当上述预设区域的个数大于1个时,预设区域并排且相邻地设置在触摸屏的水平方向上;
并且,并排设置的预设区域中第一个预设区域的左边与触摸屏的左边缘重合,并排设置的预设区域中最后一个预设区域的右边与触摸屏的右边缘重合。
具体的,当预设区域的个数大于1个时,每个预设区域的高度可以设置为相等。
图2示出了在触摸屏上设置三个预设区域的情况,在图2中的终端设备上设置有前置摄像头11,将图2中的三个预设区域分别记为第一预设区域14、第二预设区域15和第三预设区域16,第一预设区域14、第二预设区域15和第三预设区域16的均为矩形,且第一预设区域14、第二预设区域15和第三预设区域16的下边与触摸屏的下边缘重合,第一预设区域14的左边与触摸屏的左边缘重合,第三预设区域16的右边与触摸屏的右边缘重合。第一预设区域14、第二预设区域15和第三预设区域16三者的高度相等。
在图2中,上述第一预设区域14、第二预设区域15和第三预设区域16三者的宽度是相等的,除此之外,也可以将第一预设区域14和第三预设区域16的宽度设置成小于第二预设区域15的宽度,因为,第一预设区域14的左边与触摸屏的左边缘重合,第三预设区域16的右边与触摸屏的右边缘重合,以触摸屏的边缘作为参考,比较容易找到第一预设区域14和第三预设区域16的位置,所以,可以将第一预设区域14和第三预设区域16的宽度设置得小一些,这样,会使得第二预设区域15的宽度较大,方便用户查找第二预设区域15。
为了迎合用户的使用习惯,进一步方便用户的操作,在本发明实施例中,可以将每个功能键对应的预设手势类型在预设区域上的排列顺序与手机终端设备上的功能键的排列顺序保持一致,比如说,如果终端设备上功能键的排列顺序是最左边为菜单键、中间为Home键、最右边为返回键,则可以将菜单键对应的预设手势类型设置在图2中的第一预设区域、将Home键对应的预设手势类型设置在第二预设区域,将返回键对应的预设手势类型设置在第三预设区域。
图3示出了本发明实施例中只设置一个预设区域的情况,即如果终端设备上只有一个功能键,则只需要在触摸屏上设置一个预设区域即可,并且,在图3示出的情况中,预设区域的高度为触摸屏高度的1/2,且预设区域的下边与触摸屏的下边缘重合,预设区域的左边与触摸屏的左边缘重合,预设区域的右边与触摸屏的右边缘重合,当然,预设区域在触摸屏上的位置及设置的具体大小并不局限于此。
在本发明实施例中,上述步骤S110中的注视信息可以包括用户在预设区域执行操作时的注视位置,该注视位置指的是用户的视线集中交汇处;上述注视信息还可以包括用户在预设区域执行操作时的注视位置,以及用户在注视上述注视位置时的注视时刻。
在本发明实施例中,可以通过终端设备上的前置摄像头或者在终端设备上设置红外设备来获取眼球的运动状态信息和/或虹膜角度信息实现眼动追踪技术,确定出用户在预设区域执行操作时的注视位置。如果是通过前置摄像头来实现眼动追踪技术,则需要采集用户在触摸屏上执行操作时的眼部图像,通过对该眼部图像进行识别来确定用户的注视位置。具体的,该前置摄像头可以持续采集用户眼部图像,也可以是每间隔预设时间采集一次用户的眼部图像,或者还可以识别出上述用户的操作手势类型为预设手势类型时,开始采集用户的眼部图像。在上述通过终端设备上的前置摄像头采集用户的眼部图像时,还需要记录当前的采集时刻。如果通过红外设备来实现眼动追踪技术,则需要向用户的眼部投射红外线,以此来提取用户的眼球或者虹膜特征。
具体的,在步骤S110中,识别用户执行操作时的操作手势类型及识别用户在执行上述操作时的注视信息,具体过程如下:
识别用户执行操作时的操作手势类型,当识别出该操作手势类型为上述预设区域对应的预设手势类型时,再识别用户的注视信息。
在本发明实施例中,当用户的操作手势类型与预设区域对应的预设手势类型不一致时,或者,用户的注视信息不满足预设条件时,则将用户在触摸屏上执行的操作当做普通的触摸操作进行处理。
在本发明实施例中,上述预设区域的个数可以是1个、2个或者多个,当上述预设区域的个数大于1个时,
在步骤S120中,判断上述操作手势类型与预设区域对应的预设手势类型是否一致,具体包括:
确定上述操作手势类型所属的预设区域;将上述操作手势类型与操作手势类型所属的预设区域对应的预设手势类型进行匹配;根据匹配结果,判断上述操作手势类型与操作手势类型所属的预设区域对应的预设手势类型是否一致。
在本发明实施例中,上述预设手势类型可以是单击、双击、长按或者滑动等,每一种预设手势类型对应功能键的一个操作。比如,某预设手势类型为单击,则其对应功能键的单击操作。
上述确定操作手势类型所属的预设区域,具体包括:确定出用户在触摸屏上的操作位置,该操作位置可以是操作位置坐标,将用户执行操作时的操作位置坐标与每个预设区域在触摸屏上的位置范围进行比较,确定出用户执行操作时的操作手势类型属于哪个预设区域。
当确定出用户的操作手势类型所属的预设区域后,再判断用户的操作手势类型与该预设区域对应的预设手势类型是否匹配,如果匹配,则认为用户的操作手势类型与该预设区域对应的预设手势类型是一致的。
在本发明实施例中,上述步骤S120中,判断注视信息是否满足预设条件,具体包括如下两种情况:
第一种情况,注视信息包括注视位置及用户在注视该注视位置时的注视时刻;
在该种情况下,判断用户的注视信息是否满足预设条件,包括:
判断上述注视位置是否与预设位置匹配;判断上述注视时刻与用户执行操作时的操作手势的发生时刻之间的时间差值是否在预设范围内。
在该种情况下,只有注视位置与预设位置匹配、上述时间差值在预设范围内两个条件同时满足时,才可以确定为用户的注视信息满足预设条件。
比如,用户执行操作时的操作手势的发生时刻记为t1、用户注视预设位置时的时刻记为t2,如果a<t1-t2<b,则确定为两者之间的时间差值在预设范围内。
具体的,上述a的取值可以小于或等于0,b的取值可以大于或等于0。另外,上述a与b之差的绝对值的大小不宜取值过大,当过大时,容易引起误操作,可能会出现用户的注视位置与预设位置不匹配的情况。
当上述t1-t2的值小于0时,说明检测到的用户注视预设位置发生在用户在触摸屏上执行手势操作之后;当上述t1-t2的值大于0时,说明检测到的用户注视预设位置发生在用户在触摸屏上执行手势操作之前;当上述t1-t2的值等于0时,说明检测到的用户注视预设位置与用户在触摸屏上执行手势操作同时发生。
作为一个可选方案,用户的注视位置,需要至少一次满足预设条件。并且,在该种情况下,可以把用户眨眼时的眼部动作作为用户的注视位置满足预设条件。
第二种情况,注视信息只包括注视位置;
在该种情况下,根据以下步骤判断上述注视信息是否满足预设条件,具体包括:
判断上述注视位置是否与预设位置匹配。
其中,在本发明实施例中的预设位置包括以下中的至少一种:
触摸屏之外的任意位置、终端设备的前置摄像头的预设范围内、触摸屏上与用户的操作位置之间的距离大于或等于预设距离处。
即本发明实施例中的预设位置可以是上述三种中的任意一种、任意两种或者是三种。
在本发明实施例中,当上述预设位置为触摸屏之外的任意位置时,则用户的注视位置也需要不在触摸屏上,这时,用户的注视位置与预设位置匹配。只要用户的注视位置没有落在触摸屏的任何位置坐标上,则可以认为用户的注视位置在触摸屏之外。
另外,需要注意的是,如果终端设备采集到的用户的眼部图像中,用户的眼睛闭着,或者用户睁一只眼闭一只眼,也可以认为用户的注视位置不在触摸屏上。
当上述预设位置为终端设备的前置摄像头的预设范围内时,用户的注视位置需要在该摄像头的预设范围内,这时,用户的注视位置与预设位置匹配。具体的,上述前置摄像头的预设范围指的是前置摄像头附近。
另外,需要注意的还有一种特殊的应用场景,当终端设备的前置摄像头处于拍照状态时,可以将终端设备触摸屏上的拍照按钮上接收到的全部手势作为普通的触摸操作进行处理,只响应与拍照相关的操作,不管拍照按钮是否全部或者部分处于上述预设区域内。
上述只是列举了预设位置的三种可能的位置,在本发明实施例中,预设位置的具体所在位置并不局限于此。
需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本申请,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
本发明实施例提供的触摸屏的操控方法,通过对用户执行操作时的操作手势在触摸屏上的位置、执行操作时的操作手势类型及用户在执行操作时的注视信息进行识别,来判断用户是否触发了终端设备上功能键对应的操作,提高了终端设备响应用户操作的准确性,减少了执行功能键操作与一般触摸操作相混淆的情况,使得用户的体验较佳。
参考图4所示,本发明实施例还提供了一种终端设备,该终端设备用于执行本发明实施例提供的触摸屏的操控方法,该终端设备包括识别模块410、确定模块420和执行模块430,具体包括:
上述识别模块410,用于监测到用户在触摸屏的预设区域执行操作时,识别上述用户执行操作时的操作手势类型及识别用户在执行上述操作时的注视信息;
上述确定模块420,用于在判断上述操作手势类型与预设区域对应的预设手势类型一致,且上述注视信息满足预设条件时,根据上述预设区域对应的预设手势类型,及预设的操作手势类型与控制指令之间的映射关系,确定上述操作手势类型对应的控制指令,该控制指令用于控制终端设备执行上述终端设备上功能键的功能;
上述执行模块430,用于执行上述操作手势类型对应的控制指令。
具体的,上述功能键包括以下中的至少一种:返回键、菜单键和Home键。
上述预设区域的个数与功能键的个数相等,且上述预设区域对应的预设手势类型与上述功能键对应的控制指令一一对应。
在本发明实施例中,当上述预设区域的个数大于1个时,本发明实施例中判断上述操作手势类型与预设区域对应的预设手势类型是否一致,是通过预设区域确定模块、匹配模块和第一判断模块实现的,具体包括:
上述预设区域确定模块,用于确定上述操作手势类型所属的预设区域;上述匹配模块,用于将上述操作手势类型与操作手势类型所属的预设区域对应的预设手势类型进行匹配;上述第一判断模块,用于根据匹配结果,判断上述操作手势类型与操作手势类型所属的预设区域对应的预设手势类型是否一致。
具体的,上述预设区域为矩形,且上述预设区域的下边与触摸屏的下边缘重合。
具体的,当上述预设区域的个数大于1个时,上述预设区域并排且相邻地设置在触摸屏的水平方向上;并且,并排设置的预设区域中第一个预设区域的左边与触摸屏的左边缘重合,并排设置的预设区域中最后一个预设区域的右边与触摸屏的右边缘重合。
在本发明实施例中,上述注视信息包括注视位置及上述用户注视上述注视位置时的注视时刻;
判断注视信息是否满足预设条件,是通过第二判断模块和第三判断模块实现的,具体包括:
上述第二判断模块,用于判断上述注视位置是否与预设位置匹配;上述第三判断模块,用于判断上述注视时刻与用户执行上述操作时的操作手势的发生时刻之间的时间差值是否在预设范围内。
当上述注视信息只包括注视位置时,本发明实施例中,判断上述注视信息是否满足预设条件是通过上述第二判断模块实现的,具体包括:
上述第二判断模块,用于判断上述注视位置是否与预设位置匹配。
具体的,上述预设位置包括以下中的至少一种:
上述触摸屏之外的任意位置、上述终端设备的前置摄像头的预设范围内及上述触摸屏上与上述用户的操作位置之间的距离大于或等于预设距离处。
本发明实施例提供的终端设备,通过对用户执行操作时的操作手势在触摸屏上的位置、执行操作时的操作手势类型及用户在执行操作时的注视信息进行识别,来判断用户是否触发了终端设备上功能键对应的操作,提高了终端设备响应用户操作的准确性,减少了执行功能键操作与一般触摸操作相混淆的情况,使得用户的体验较佳。
本发明实施例所提供的终端设备,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种触摸屏的操控方法,其特征在于,所述方法包括:
监测到用户在触摸屏的预设区域执行操作时,识别所述用户执行操作时的操作手势类型及识别所述用户在执行所述操作时的注视信息;
在判断所述操作手势类型与所述预设区域对应的预设手势类型一致,且所述注视信息满足预设条件时,根据所述预设区域对应的所述预设手势类型,及预设的操作手势类型与控制指令之间的映射关系,确定所述操作手势类型对应的控制指令,所述控制指令用于控制终端设备执行所述终端设备上功能键的功能;
执行所述操作手势类型对应的控制指令。
2.根据权利要求1所述的方法,其特征在于,所述功能键包括以下中的至少一种:
返回键、菜单键和Home键。
3.根据权利要求1所述的方法,其特征在于,所述预设区域的个数与所述功能键的个数相等,且所述预设区域对应的预设手势类型与所述功能键对应的控制指令一一对应。
4.根据权利要求3所述的方法,其特征在于,当所述预设区域的个数大于1个时,
根据以下步骤判断所述操作手势类型与所述预设区域对应的预设手势类型是否一致,包括:
确定所述操作手势类型所属的预设区域;
将所述操作手势类型与所述操作手势类型所属的预设区域对应的预设手势类型进行匹配;
根据匹配结果,判断所述操作手势类型与所述操作手势类型所属的预设区域对应的预设手势类型是否一致。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述预设区域为矩形,且所述预设区域的下边与所述触摸屏的下边缘重合。
6.根据权利要求5所述的方法,其特征在于,当所述预设区域的个数大于1个时,所述预设区域并排且相邻地设置在所述触摸屏的水平方向上;
并且,并排设置的预设区域中第一个预设区域的左边与所述触摸屏的左边缘重合,并排设置的预设区域中最后一个预设区域的右边与所述触摸屏的右边缘重合。
7.根据权利要求1所述的方法,其特征在于,所述注视信息包括注视位置及所述用户注视所述注视位置时的注视时刻;
根据以下步骤判断所述注视信息是否满足预设条件,包括:
判断所述注视位置是否与预设位置匹配;
判断所述注视时刻与所述用户执行所述操作时的操作手势的发生时刻之间的时间差值是否在预设范围内。
8.根据权利要求1所述的方法,其特征在于,所述注视信息包括注视位置;
根据以下步骤判断所述注视信息是否满足预设条件,包括:
判断所述注视位置是否与预设位置匹配。
9.根据权利要求7或8所述的方法,其特征在于,所述预设位置包括以下中的至少一种:
所述触摸屏之外的任意位置、所述终端设备的前置摄像头的预设范围内及所述触摸屏上与所述用户的操作位置之间的距离大于或等于预设距离处。
10.一种终端设备,其特征在于,所述终端设备包括:
识别模块,用于监测到用户在触摸屏的预设区域执行操作时,识别所述用户执行操作时的操作手势类型及识别所述用户在执行所述操作时的注视信息;
确定模块,用于在判断所述操作手势类型与所述预设区域对应的预设手势类型一致,且所述注视信息满足预设条件时,根据所述预设区域对应的所述预设手势类型,及预设的操作手势类型与控制指令之间的映射关系,确定所述操作手势类型对应的控制指令,所述控制指令用于控制终端设备执行所述终端设备上功能键的功能;
执行模块,用于执行所述操作手势类型对应的控制指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710409921.7A CN107239222B (zh) | 2017-06-02 | 2017-06-02 | 一种触摸屏的操控方法及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710409921.7A CN107239222B (zh) | 2017-06-02 | 2017-06-02 | 一种触摸屏的操控方法及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107239222A true CN107239222A (zh) | 2017-10-10 |
CN107239222B CN107239222B (zh) | 2021-06-22 |
Family
ID=59984832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710409921.7A Active CN107239222B (zh) | 2017-06-02 | 2017-06-02 | 一种触摸屏的操控方法及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107239222B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109157832A (zh) * | 2018-07-12 | 2019-01-08 | 努比亚技术有限公司 | 一种终端游戏控制方法、终端及计算机可读存储介质 |
CN109634503A (zh) * | 2018-07-26 | 2019-04-16 | 维沃移动通信有限公司 | 一种操作响应方法及移动终端 |
CN110244853A (zh) * | 2019-06-21 | 2019-09-17 | 四川众信互联科技有限公司 | 手势控制方法、装置、智能显示终端及存储介质 |
WO2022160933A1 (en) * | 2021-01-26 | 2022-08-04 | Huawei Technologies Co.,Ltd. | Systems and methods for gaze prediction on touch-enabled devices using touch interactions |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140313124A1 (en) * | 2013-04-23 | 2014-10-23 | Electronics And Telecommunications Research Institute | Method and apparatus for tracking user's gaze point using mobile terminal |
CN104145232A (zh) * | 2012-01-04 | 2014-11-12 | 托比技术股份公司 | 用于注视交互的系统 |
US20150077329A1 (en) * | 2013-09-17 | 2015-03-19 | Electronics And Telecommunications Research Institute | Eye tracking-based user interface method and apparatus |
CN104834436A (zh) * | 2015-05-10 | 2015-08-12 | 汪念鸿 | 一种实现触摸屏终端功能键的方法 |
CN104850221A (zh) * | 2014-02-14 | 2015-08-19 | 欧姆龙株式会社 | 手势识别装置以及手势识别装置的控制方法 |
CN106445380A (zh) * | 2016-09-19 | 2017-02-22 | 宇龙计算机通信科技(深圳)有限公司 | 一种多视角画面操作的方法、系统及移动终端 |
-
2017
- 2017-06-02 CN CN201710409921.7A patent/CN107239222B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104145232A (zh) * | 2012-01-04 | 2014-11-12 | 托比技术股份公司 | 用于注视交互的系统 |
US20140313124A1 (en) * | 2013-04-23 | 2014-10-23 | Electronics And Telecommunications Research Institute | Method and apparatus for tracking user's gaze point using mobile terminal |
US20150077329A1 (en) * | 2013-09-17 | 2015-03-19 | Electronics And Telecommunications Research Institute | Eye tracking-based user interface method and apparatus |
CN104850221A (zh) * | 2014-02-14 | 2015-08-19 | 欧姆龙株式会社 | 手势识别装置以及手势识别装置的控制方法 |
CN104834436A (zh) * | 2015-05-10 | 2015-08-12 | 汪念鸿 | 一种实现触摸屏终端功能键的方法 |
CN106445380A (zh) * | 2016-09-19 | 2017-02-22 | 宇龙计算机通信科技(深圳)有限公司 | 一种多视角画面操作的方法、系统及移动终端 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109157832A (zh) * | 2018-07-12 | 2019-01-08 | 努比亚技术有限公司 | 一种终端游戏控制方法、终端及计算机可读存储介质 |
CN109634503A (zh) * | 2018-07-26 | 2019-04-16 | 维沃移动通信有限公司 | 一种操作响应方法及移动终端 |
CN109634503B (zh) * | 2018-07-26 | 2021-01-08 | 维沃移动通信有限公司 | 一种操作响应方法及移动终端 |
CN110244853A (zh) * | 2019-06-21 | 2019-09-17 | 四川众信互联科技有限公司 | 手势控制方法、装置、智能显示终端及存储介质 |
WO2022160933A1 (en) * | 2021-01-26 | 2022-08-04 | Huawei Technologies Co.,Ltd. | Systems and methods for gaze prediction on touch-enabled devices using touch interactions |
US11474598B2 (en) | 2021-01-26 | 2022-10-18 | Huawei Technologies Co., Ltd. | Systems and methods for gaze prediction on touch-enabled devices using touch interactions |
Also Published As
Publication number | Publication date |
---|---|
CN107239222B (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103052937B (zh) | 用于调整显示内容的方法和系统 | |
CN105446673B (zh) | 屏幕显示的方法及终端设备 | |
CN106909297B (zh) | 一种数据通信处理方法、装置及电子设备、触摸显示设备 | |
CN104571693B (zh) | 信息处理方法及电子设备 | |
EP2876529A1 (en) | Unlocking mobile device with various patterns on black screen | |
CN107239222A (zh) | 一种触摸屏的操控方法及终端设备 | |
CN104199552A (zh) | 多屏显示方法、设备及系统 | |
WO2021088422A1 (zh) | 应用消息的通知方法及装置 | |
CN106980379B (zh) | 一种显示方法及终端 | |
CN108596955A (zh) | 一种图像检测方法、图像检测装置及移动终端 | |
CN108027655A (zh) | 信息处理系统、信息处理设备、控制方法和程序 | |
CN110413187B (zh) | 交互智能设备的批注的处理方法和装置 | |
CN110536006A (zh) | 一种对象位置调整方法及电子设备 | |
CN107450811A (zh) | 触摸区域放大显示方法及系统 | |
CN109669710A (zh) | 便签处理方法及终端 | |
CN105955634A (zh) | 移动智能终端的截图方法和截图系统 | |
CN108845732A (zh) | 一种信息显示方法及终端设备 | |
CN108140080A (zh) | 一种显示的方法、装置及系统 | |
JPWO2020039703A1 (ja) | 入力装置 | |
CN112995506B (zh) | 显示控制方法、装置、电子设备及介质 | |
EP3088991B1 (en) | Wearable device and method for enabling user interaction | |
CN113703592A (zh) | 安全输入方法和装置 | |
CN114578956A (zh) | 设备控制方法、装置、虚拟穿戴设备以及存储介质 | |
CN108132746B (zh) | 一种图片显示方法、装置和设备 | |
CN107831896B (zh) | 音频信息播放方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |