CN113467618A - 采集滑动手势的方法和装置 - Google Patents
采集滑动手势的方法和装置 Download PDFInfo
- Publication number
- CN113467618A CN113467618A CN202110807468.1A CN202110807468A CN113467618A CN 113467618 A CN113467618 A CN 113467618A CN 202110807468 A CN202110807468 A CN 202110807468A CN 113467618 A CN113467618 A CN 113467618A
- Authority
- CN
- China
- Prior art keywords
- event
- user
- sliding
- operating system
- target view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000004044 response Effects 0.000 claims abstract description 19
- 238000012795 verification Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 2
- 230000009471 action Effects 0.000 description 19
- 230000001771 impaired effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000001960 triggered effect Effects 0.000 description 7
- 206010047571 Visual impairment Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 208000029257 vision disease Diseases 0.000 description 4
- 230000004393 visual impairment Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本说明书实施例涉及一种采集滑动手势的方法和装置。该方法的一具体实施方式包括:在屏幕阅读器运行状态下,应用程序执行以下滑动手势采集操作:首先,响应于接收到操作系统基于用户对目标视图所做的按压操作捕获到的第一事件,发送用于提示用户进行滑动操作的第一提示信息。之后,接收操作系统基于用户对目标视图所做的滑动操作捕获到的第二事件,以及接收操作系统基于用户对目标视图所做的按压释放操作捕获的第三事件。最后,根据第一事件、第二事件和第三事件生成滑动手势数据。
Description
技术领域
本说明书一个或多个实施例涉及计算机技术领域,尤其涉及一种采集滑动手势的方法和装置。
背景技术
屏幕阅读器是一种可以将电脑、手机屏幕上的内容通过TTS(Text To Speech,从文本到语音)朗读出的软件,该类软件的受众人群主要是视力障碍人群。屏幕阅读器可以有效帮助视力障碍人士在看不见或无法看清其屏幕的情况下与其终端设备进行互动。屏幕阅读器运行状态下,智能终端设备的操作方式与普通方式有较大差异。在屏幕阅读器启动之后,用户的触屏手势会被操作系统劫持转换为特定的事件。比如,向左/向右的单指滑动手势会被操作系统转换成焦点移动到前一个/后一个界面元素上的操作。操作系统对滑动手势的劫持和转换可能会导致应用程序(Application,App)获取不到滑动手势的数据。因此,在屏幕阅读器运行状态下,应用程序采集用户的触屏滑动手势存在困难。
发明内容
本说明书一个或多个实施例描述了一种采集滑动手势的方法和装置,在屏幕阅读器运行状态下,操作系统基于用户对目标视图所做的按压操作、滑动操作和按压释放操作分别捕获第一事件、第二事件和第三事件,应用程序根据操作系统捕获的第一事件、第二事件和第三事件,生成滑动手势数据,从而实现了屏幕阅读器运行状态下滑动手势的采集。
根据第一方面,提供了一种采集滑动手势的方法,包括:在屏幕阅读器运行状态下,应用程序执行以下滑动手势采集操作:响应于接收到操作系统基于用户对目标视图所做的按压操作捕获到的第一事件,发送用于提示用户进行滑动操作的第一提示信息,上述目标视图是上述应用程序中的视图;接收上述操作系统基于上述用户对上述目标视图所做的滑动操作捕获到的第二事件;接收上述操作系统基于上述用户对上述目标视图所做的按压释放操作捕获到的第三事件;根据上述第一事件、第二事件和上述第三事件,生成滑动手势数据。
在一个实施例中,上述目标视图为所在页面的单一视图。
在一个实施例中,上述目标视图所占的区域与上述目标视图所在页面所占的区域相同。
在一个实施例中,上述方法还包括:响应于接收到上述第三事件,发送用于提示上述用户滑动操作结束的第二提示信息。
在一个实施例中,上述第一提示信息和上述第二提示信息通过震动或者语音的方式发送。
在一个实施例中,当上述操作系统为安卓系统时,上述第一事件、第二事件和第三事件分别为基于hover组件监控到的光标进入事件、光标移动事件和光标移出事件。
在一个实施例中,上述方法还包括:在屏幕阅读器未运行状态下,上述应用程序执行以下滑动手势采集操作:响应于接收到操作系统基于用户对屏幕所做的按压操作捕获到的手指按下事件,发送用于提示上述用户进行滑动操作的提示信息;接收上述操作系统基于上述用户对上述屏幕所做的滑动操作捕获到的手指滑动事件;接收上述操作系统基于上述用户对上述屏幕所做的按压释放操作捕获的手指离开事件;根据上述手指按下事件、手指滑动事件和手指离开事件,生成滑动手势数据。
在一个实施例中,上述方法还包括:响应于接收到上述手指离开事件,发送用于提示用户滑动操作结束的提示信息。
在一个实施例中,上述屏幕阅读器为以下任一种屏幕阅读器:旁白模式、盲人模式和讲述人。
在一个实施例中,上述方法还包括:将生成的滑动手势数据与预先存储的验证用滑动手势数据进行匹配;基于匹配结果,确定是否验证通过。
在一个实施例中,上述按压操作、滑动操作和按压释放操作为单指操作。
根据第二方面,提供了一种采集滑动手势的装置,包括:第一采集单元,配置为在屏幕阅读器运行状态下,执行以下滑动手势采集操作:响应于接收到操作系统基于用户对目标视图所做的按压操作捕获到的第一事件,发送用于提示用户进行滑动操作的第一提示信息,上述目标视图是上述应用程序中的视图;接收上述操作系统基于上述用户对上述目标视图所做的滑动操作捕获到的第二事件;接收上述操作系统基于上述用户对上述目标视图所做的按压释放操作捕获到的第三事件;根据上述第一事件、第二事件和上述第三事件,生成滑动手势数据。
根据第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当上述计算机程序在计算机中执行时,令计算机执行如第一方面中任一实现方式描述的方法。
根据第四方面,提供了一种计算设备,包括存储器和处理器,其特征在于,上述存储器中存储有可执行代码,上述处理器执行上述可执行代码时,实现如第一方面中任一实现方式描述的方法。
根据本说明书实施例提供的保护隐私的生物特征识别方法和装置,在屏幕阅读器运行状态下,操作系统可以基于用户对应用程序的目标视图所做的按压操作、滑动操作和按压释放操作捕获对应的事件。而后,应用程序根据操作系统捕获到的上述事件,生成滑动手势数据,从而实现了屏幕阅读器运行状态下滑动手势的采集。
附图说明
图1示出了根据一个实施例的采集滑动手势的方法的流程图;
图2示出了一个例子中的页面上包含一个视图的示意图;
图3示出了一个例子中的目标视图覆盖整个页面的示意图;
图4示出了根据另一个实施例的采集滑动手势的方法的流程图;
图5示出了根据一个实施例的采集滑动手势的装置的示意性框图。
具体实施方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。需要说明的是,在不冲突的情况下,本说明书的实施例及实施例中的特征可以相互组合。
如前所述,在针对视障人群运行屏幕阅读器的状态下,用户的触屏手势会被操作系统劫持转换为特定的事件,这往往使得应用程序获取不到滑动手势的数据。为此,在一种技术中,在应用程序需要采集用户滑动手势的时候,引导用户使用双指进行操作。操作系统对用户操作事件进行检测和区分,将双指操作的手势数据下放给应用程序。然而,双指操作带来较大的用户教育成本,对于用户既不便利也不习惯;另一方面,双指操作很难对齐每一个手指的具体操作路径,也影响手势数据的准确性。
考虑到以上问题,本说明书提出一种采集滑动手势的方法,通过设计App页面视图的布局和操作系统对操作事件的处理方式,使得应用程序可以准确采集到用户的滑动手势,便于对滑动手势的后续处理,极大提升用户体验。
图1示出了根据一个实施例的采集滑动手势的方法的流程图。可以理解,该方法可以通过具有触摸屏的终端设备安装的应用程序(Application,App)来执行。这里,终端设备包括但不限于:智能手机、平板电脑等等。终端设备还可以安装有屏幕阅读器,以便视力障碍人士在看不见或无法看清其屏幕的情况下与其终端设备进行互动。
可以理解,屏幕阅读器是一种可以将电脑、手机屏幕上的内容通过TTS朗读出的软件。不同操作系统所使用的屏幕阅读器可能并不相同。可选的,适用于本说明书实施例的屏幕阅读器可以为以下任一种屏幕阅读器:旁白模式、盲人模式和讲述人。其中,旁白模式又叫“voiceover”,可以运行在iOS操作系统。盲人模式(TalkBack),可以运行在Android(安卓)操作系统。讲述人,可以运行在Windows操作系统。
如图1所示,一种采集滑动手势的方法,可以包括:在屏幕阅读器运行状态下,应用程序可以执行以下滑动手势采集操作:
步骤101,响应于接收到操作系统基于用户对目标视图所做的按压操作捕获到的第一事件,发送用于提示用户进行滑动操作的第一提示信息。
在本实施例中,终端设备安装的App,可以设置有用于采集滑动手势的页面,该页面中设置有目标视图。这里,视图(View)是指页面中用于展示信息内容的一个区域,典型为矩形区域,它负责这个区域里的绘制和事件处理。以Android操作系统为例,Android的UI(User Interface,用户界面)都是由View和ViewGroup(视图组)及其派生类组合而成的。其中,View是所有UI组件的基类,而ViewGroup是容纳View及其派生类的容器,ViewGroup也是从View派生出来的。一个页面可以包括一个或者多个视图。
在本实施例的一些可选的实现方式中,本申请说明书实施例中的目标视图可以为所在页面的单一视图。如图2所示,作为执行主体的App中用于采集滑动手势的页面201上仅包含一个视图202。实践中,由于屏幕阅读器运行状态下的用户可能为视障人士,不能看见或者看清目标视图的范围。因此,为了保证用户在进行滑动操作时手指滑动不超出目标视图的范围,可以设置目标视图占据所在页面的大部分区域。例如,设置目标视图占据所在页面范围的预设比例以上。通过将目标视图设置为所在页面的单一视图,以及设置目标视图的范围足够大,可以避免用户在屏幕进行滑动时,手指滑动到除目标视图之外的其他视图。
可选的,本申请说明书实施例中的目标视图所占的区域可以与该目标视图所在页面所占的区域相同。请参见图3,图3中目标视图301所占的区域与其所在页面所占的区域相同,即目标视图301覆盖整个页面。这样,用户的手指在屏幕滑动时,不会超出目标视图301的范围,进而可以保证手指滑动所触发的事件都是在目标视图301内触发。通过本实现方式,可以保证视障人士在进行滑动操作时手指滑动不会超出目标视图的范围,从而使采集的滑动手势数据更加准确。
在本实施例中,在屏幕阅读器运行状态下,当目标视图被用户手指按压时,针对该按压操作可以监听到第一事件。这里,第一事件可以包括按压操作的坐标、时间等等。这里,坐标可以是相对于目标视图的坐标,也可以是相对于屏幕原点的坐标。该第一事件可以被操作系统捕获(或监听)后,操作系统可以将第一事件发送到App。相应的,App接收到该第一事件后,可以发送用于提示用户进行滑动操作的第一提示信息。该第一提示信息可以用于提示用户在屏幕上进行滑动操作。
实践中,可以在不同层次上对触摸事件进行监听。以Android操作系统为例,关于触摸事件的处理,可以处理在不同的层次上。具体的,可以包括Activity层、ViewGroup层和View层。其中,Activity层可以看做触摸事件获取的最顶层。ViewGroup层可以自主控制是否让子View获取触摸事件。View层可以决定自己是否真正的消费触摸事件,如果不消费抛给上层ViewGroup。在本申请说明书实施例中,第一事件、第二事件和第三事件可以是在Activity层监听的,也可以在View层监听的,此处不做限定。
还是以Android操作系统为例,Android可以包括hover(悬停)组件,hover组件可以监控光标在View上的变化。具体地,hover事件可以包括HOVER_ENTER事件,HOVER_MOVE事件和HOVER_EXIT事件,其中,HOVER_ENTER为光标进入View的事件,HOVER_MOVE为光标在View的移动事件,HOVER_EXIT为光标离开View的事件。可以理解,虽然不存在真实的光标,但是在触屏上,仍然会用光标位置来表示触摸点位置。在屏幕阅读器运行状态下,当目标视图被用户手指按压时,操作系统可以将该按压操作捕获转换为HOVER_ENTER事件,即,上述第一事件可以为HOVER_ENTER事件。
步骤102,接收操作系统基于用户对目标视图所做的滑动操作捕获到的第二事件。
在本实施例中,用户在接收到第一提示信息之后,可以在屏幕上进行滑动操作。这样,操作系统可以将该滑动操作捕获转换为第二事件,具体的,以安卓操作系统为例,第二事件可以为HOVER_MOVE事件,第二事件可以包括滑动操作的坐标、时间等等。该第二事件可以被操作系统捕获后发送给App。App可以接收操作系统捕获到的第二事件。通常,用户的手指在目标视图滑动(或移动)可以持续触发HOVER_MOVE事件。
步骤103,接收操作系统基于用户对目标视图所做的按压释放操作捕获到的第三事件。
在本实施例中,用户在目标视图上的滑动操作结束之后,用户的手指会离开屏幕,即执行按压释放操作。此时,操作系统可以将该按压释放操作捕获转换为第三事件,第三事件可以包括按压释放操作的坐标、时间等等。具体的,第三事件可以为HOVER_EXIT事件。该第三事件可以被操作系统发送给App。App可以接收操作系统发送的第三事件。
在本实施例的一些可选的实现方式中,上述按压操作、滑动操作和按压释放操作可以是单指操作。相比于引导用户进行双指操作,单指操作显然更加简单,符合用户操作习惯,且操作路径更为清晰和准确。
在本实施例的一些可选的实现方式中,上述采集滑动手势的方法还可以包括图1中未示出的以下步骤:响应于接收到第三事件,发送用于提示用户滑动操作结束的第二提示信息。
在本实现方式中,App在接收到操作系统发送的第三事件之后,可以发送用于提示用户滑动操作结束的第二提示信息。通过向视障人士发送第二提示信息,可以使视障人士获取到滑动操作结束的信息。
可选的,上述第一提示信息和上述第二提示信息可以通过震动或语音等方式发送。考虑到视障人士无法看清屏幕,因此,可以通过震动、语音等方式发送提示信息。以使视障人士可以通过触觉、听觉等其他感官获得提示信息。增加了视障人士获取信息的途经,提升了用户体验。
步骤104,根据第一事件、第二事件和第三事件,生成滑动手势数据。
在本实施例中,执行主体可以根据接收到的第一事件、第二事件和第三事件,生成滑动手势数据。作为示例,App可以根据第一事件、第二事件和第二事件的坐标生成滑动手势数据,滑动手势数据可以包括起点坐标、终点坐标、滑动方向等等。仍以Android操作系统为例,上述第一事件、第二事件和第三事件可以分别为光标进入事件(HOVER_ENTER事件)、光标移动事件(HOVER_MOVE事件)和光标移出事件(HOVER_EXIT事件)。更具体的,一般来说,用户在目标视图上按压并滑动一段时间后释放按压的滑动行为,会触发一个事件序列,该事件序列可以为:HOVER_ENTER-->HOVER_MOVE-->……-->HOVER_MOVE-->HOVER_EXIT。而根据该事件序列中各个事件的坐标可以生成滑动手势数据。
实践中,在屏幕阅读器运行状态下,如果用户在目标视图执行按压操作,例如,按压目标视图超过预定时长,则该按压操作会被操作系统捕获为第一事件,即,触发了第一事件。之后,操作系统可以将该第一事件下发到App。实践中,一旦触发第一事件,则基于该按压操作后续进行的、针对目标视图的滑动操作不会被操作系统劫持转换为焦点移动的操作,而是被捕获为第二事件下发至App。相应的,基于该按压操作和该滑动操作后续进行的、针对目标视图的按压释放操作会被捕获为第三事件下发至App。基于屏幕阅读器运行状态下的这个特性,App可以接收到第一事件、第二事件和第三事件。而后App根据接收的第一事件、第二事件和第三事件生成滑动手势数据,从而实现了屏幕阅读器运行状态下滑动手势的采集。
在本实施例的一些可选的实现方式中,如图4所示,上述采集滑动手势的方法还包括:在屏幕阅读器未运行状态下,应用程序可以执行以下滑动手势采集操作:
步骤401,响应于接收到操作系统基于用户对屏幕所做的按压操作捕获到的手指按下事件,发送用于提示用户进行滑动操作的提示信息。
在本实施例中,终端设备安装的App,可以接收操作系统基于用户对屏幕所做的按压操作捕获到手指按下事件。这里,手指按下事件可以包括按压操作的坐标、事件等等,其中,坐标可以是相对于屏幕原点的坐标。以Android操作系统为例,在屏幕阅读器未运行状态下,当用户手指触碰到屏幕时,会触发MotionEvent,MotionEvent是手指触摸屏幕产生的一系列事件。MotionEvent可以是在Activity层监听的。MotionEvent包括ACTION_DOWN事件、ACTION_MOVE事件、ACTION_UP事件,其中,ACTION_DOWN事件表示手指在屏幕上按下,ACTION_MOVE事件表示手指在屏幕上滑动,ACTION_UP事件表示手指离开屏幕。这里,上述手指按下事件可以是指ACTION_DOWN事件。
通常,在屏幕阅读器未运行状态下,当用户对屏幕进行按压操作时,会触发ACTION_DOWN事件,ACTION_DOWN事件被操作系统捕获后发送给App。App接收到ACTION_DOWN事件后,可以发送用于提示用户进行滑动操作的提示信息。作为示例,提示信息可以通过以下一种或多种方式发送:文字、图片、震动、语音等。以使用户可以通过视觉、触觉、听觉等多种感官获得提示信息。增加了用户获取信息的途经,提升了用户体验。
步骤402,接收操作系统基于用户对屏幕所做的滑动操作捕获到的手指滑动事件。
在本实施例中,用户在接收到用于提示用户进行滑动所操作的提示信息之后,可以在屏幕上进行滑动操作,而滑动操作会触发手指滑动事件,比如,ACTION_MOVE事件。通常,用户的手指在屏幕上滑动(或移动)会持续触发ACTION_MOVE事件。手指滑动事件被操作系统捕获后发送给App。
步骤403,接收操作系统基于用户对屏幕所做的按压释放操作捕获的手指离开事件。
在本实施例中,用户在屏幕上的滑动操作结束之后,用户的手指会离开屏幕,即执行按压释放操作。此时,可以触发针对该按压释放操作的手指离开事件,比如,ACTION_UP事件。手指离开事件可以包括按压释放操作的坐标、时间等等。
步骤404,根据手指按下事件、手指滑动事件和手指离开事件,生成滑动手势数据。
在本实施例中,App可以根据接收到的手指按下事件、手指滑动事件和手指离开事件,生成滑动手势数据。例如,App可以根据手指按下事件、手指滑动事件和手指离开事件的坐标生成滑动手势数据,滑动手势数据可以包括起点坐标、终点坐标、滑动方向等等。以Android操作系统为例,一般来说,用户在屏幕上按压并滑动一段时间后释放按压的滑动行为,会触发一个事件序列,该事件序列可以为:ACTION_DOWN-->ACTION_MOVE-->……-->ACTION_MOVE-->ACTION_UP。而根据该事件序列中各个事件的坐标可以生成滑动手势数据。
在本实施例的一些可选的实现方式中,图4所示的实施例还可以包括图4未示出的以下步骤:响应于接收到手指离开事件,发送用于提示用户滑动操作结束的提示信息。
在本实现方式中,执行主体在接收到手指离开事件之后,可以发送用于提示用户滑动操作结束的提示信息。作为示例,用于提示用户滑动操作结束的提示信息可以通过以下一种或多种方式发送:文字、图片、震动、语音等。以使用户可以通过视觉、触觉、听觉等多种感官获得提示信息。增加了用户获取信息的途经,提升了用户体验。
在本实施例的一些可选的实现方式中,如图1或图4所示的实施例还可以包括以下步骤:
步骤S1,将生成的滑动手势数据与预先存储的验证用滑动手势数据进行匹配。
在本实现方式中,终端设备可以预先存储有验证用滑动手势数据。这里,验证用滑动手势数据对应的验证用滑动手势可以是系统给定的特定手势,也可以是用户预先输入的滑动手势。比如,用户可以预先输入验证用滑动手势,终端设备可以根据该验证用滑动手势生成验证用滑动手势数据。App可以将生成的滑动手势数据与预先存储的验证用滑动手势数据进行匹配。例如,可以计算滑动手势数据与验证用滑动手势数据的相似度,并根据相似度确定是否匹配。比如,如果相似度大于预定阈值,则可以确定相匹配;如果相似度不大于预设阈值,则可以确定不匹配。
步骤S2,基于匹配结果,确定是否验证通过。
在本实现方式中,App可以基于步骤S1的匹配结果,确定是否验证通过。举例来说,如果匹配结果为相匹配,则可以确定验证通过;如果匹配结果为不匹配,则可以确定验证不通过。通过本实现方式,可以帮助视障人士通过绘制手势的方式完成验证,以便进行后续的操作。
本申请的上述实施例提供的方法,在屏幕阅读器运行状态下,操作系统基于用户对目标视图所做的按压操作、滑动操作和按压释放操作捕获对应事件,并将其下发至应用程序;应用程序根据操作系统捕获的事件,生成滑动手势数据,从而实现了屏幕阅读器运行状态下滑动手势的采集。在屏幕阅读器未运行状态下,操作系统基于用户对屏幕所做的按压操作、滑动操作和按压释放操作捕获对应事件,应用程序根据操作系统捕获的事件,生成滑动手势数据,从而实现了屏幕阅读器运行状态下滑动手势的采集。且屏幕阅读器运行状态下和非运行状态下,用户的交互体验一致。
根据另一方面的实施例,提供了一种采集滑动手势的装置。上述采集滑动手势的装置可以部署在具有触摸屏的终端设备内的应用程序中。这里,终端设备可以包括但不限于:智能手机、平板电脑等等。终端设备还可以安装有屏幕阅读器,以便视力障碍人士在看不见或无法看清其屏幕的情况下与其终端设备进行互动。
图5示出了根据一种采集滑动手势的装置的示意性框图。如图5所示,该采集滑动手势的装置500包括:第一采集单元501,配置为在屏幕阅读器运行状态下,执行以下滑动手势采集操作:响应于接收到操作系统基于用户对目标视图所做的按压操作捕获到的第一事件,发送用于提示用户进行滑动操作的第一提示信息,所述目标视图是所述应用程序中的视图;接收所述操作系统基于所述用户对所述目标视图所做的滑动操作捕获到的第二事件;接收所述操作系统基于所述用户对所述目标视图所做的按压释放操作捕获到的第三事件;根据所述第一事件、第二事件和所述第三事件,生成滑动手势数据。
在本实施例的一些可选的实现方式中,上述目标视图为所在页面的单一视图。
在本实施例的一些可选的实现方式中,上述目标视图所占的区域与上述目标视图所在页面所占的区域相同。
在本实施例的一些可选的实现方式中,上述装置500还包括:提示单元(图中未示出),配置为响应于接收到上述第三事件,发送用于提示上述用户滑动操作结束的第二提示信息。
在本实施例的一些可选的实现方式中,上述第一提示信息和上述第二提示信息通过震动或者语音的方式发送。
在本实施例的一些可选的实现方式中,当上述操作系统为安卓系统时,上述第一事件、第二事件和第三事件分别为基于hover组件监控到的光标进入事件、光标移动事件和光标移出事件。
在本实施例的一些可选的实现方式中,上述装置500还包括:第二采集单元(图中未示出),配置为在屏幕阅读器未运行状态下,上述应用程序执行以下滑动手势采集操作:响应于接收到操作系统基于用户对屏幕所做的按压操作捕获到的手指按下事件,发送用于提示上述用户进行滑动操作的提示信息;接收上述操作系统基于上述用户对上述屏幕所做的滑动操作捕获到的手指滑动事件;接收上述操作系统基于上述用户对上述屏幕所做的按压释放操作捕获的手指离开事件;根据上述手指按下事件、手指滑动事件和手指离开事件,生成滑动手势数据。
在本实施例的一些可选的实现方式中,上述装置500还包括:发送单元(图中未示出),配置为响应于接收到上述手指离开事件,发送用于提示用户滑动操作结束的提示信息。
在本实施例的一些可选的实现方式中,上述屏幕阅读器为以下任一种屏幕阅读器:旁白模式、盲人模式和讲述人。
在本实施例的一些可选的实现方式中,上述装置500还包括:匹配单元(图中未示出),配置为将生成的滑动手势数据与预先存储的验证用滑动手势数据进行匹配;验证单元(图中未示出),配置为基于匹配结果,确定是否验证通过。
在本实施例的一些可选的实现方式中,上述按压操作、滑动操作和按压释放操作为单指操作。
本领域普通技术人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执轨道,取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执轨道的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (14)
1.一种采集滑动手势的方法,包括:
在屏幕阅读器运行状态下,应用程序执行以下滑动手势采集操作:
响应于接收到操作系统基于用户对目标视图所做的按压操作捕获到的第一事件,发送用于提示用户进行滑动操作的第一提示信息,所述目标视图是所述应用程序中的视图;
接收所述操作系统基于所述用户对所述目标视图所做的滑动操作捕获到的第二事件;
接收所述操作系统基于所述用户对所述目标视图所做的按压释放操作捕获到的第三事件;
根据所述第一事件、第二事件和所述第三事件,生成滑动手势数据。
2.根据权利要求1所述的方法,其中,所述目标视图为所在页面的单一视图。
3.根据权利要求2所述的方法,其中,所述目标视图所占的区域与所述目标视图所在页面所占的区域相同。
4.根据权利要求1所述的方法,其中,所述方法还包括:
响应于接收到所述第三事件,发送用于提示所述用户滑动操作结束的第二提示信息。
5.根据权利要求4所述的方法,其中,所述第一提示信息和所述第二提示信息通过震动或者语音的方式发送。
6.根据权利要求1所述的方法,其中,当所述操作系统为安卓系统时,所述第一事件、第二事件和第三事件分别为基于hover组件监控到的光标进入事件、光标移动事件和光标移出事件。
7.根据权利要求1所述的方法,其中,所述方法还包括:
在屏幕阅读器未运行状态下,所述应用程序执行以下滑动手势采集操作:
响应于接收到操作系统基于用户对屏幕所做的按压操作捕获到的手指按下事件,发送用于提示所述用户进行滑动操作的提示信息;
接收所述操作系统基于所述用户对所述屏幕所做的滑动操作捕获到的手指滑动事件;
接收所述操作系统基于所述用户对所述屏幕所做的按压释放操作捕获的手指离开事件;
根据所述手指按下事件、手指滑动事件和手指离开事件,生成滑动手势数据。
8.根据权利要求7所述的方法,其中,所述方法还包括:
响应于接收到所述手指离开事件,发送用于提示用户滑动操作结束的提示信息。
9.根据权利要求1所述的方法,其中,所述屏幕阅读器为以下任一种屏幕阅读器:旁白模式、盲人模式和讲述人。
10.根据权利要求1或7所述的方法,其中,所述方法还包括:
将生成的滑动手势数据与预先存储的验证用滑动手势数据进行匹配;
基于匹配结果,确定是否验证通过。
11.根据权利要求1所述的方法,其中,所述按压操作、滑动操作和按压释放操作为单指操作。
12.一种采集滑动手势的装置,包括:
第一采集单元,配置为在屏幕阅读器运行状态下,执行以下滑动手势采集操作:
响应于接收到操作系统基于用户对目标视图所做的按压操作捕获到的第一事件,发送用于提示用户进行滑动操作的第一提示信息,所述目标视图是所述应用程序中的视图;
接收所述操作系统基于所述用户对所述目标视图所做的滑动操作捕获到的第二事件;
接收所述操作系统基于所述用户对所述目标视图所做的按压释放操作捕获到的第三事件;
根据所述第一事件、第二事件和所述第三事件,生成滑动手势数据。
13.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-11中任一项所述的方法。
14.一种计算设备,包括存储器和处理器,其特征在于,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-11中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110807468.1A CN113467618B (zh) | 2021-07-16 | 2021-07-16 | 采集滑动手势的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110807468.1A CN113467618B (zh) | 2021-07-16 | 2021-07-16 | 采集滑动手势的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113467618A true CN113467618A (zh) | 2021-10-01 |
CN113467618B CN113467618B (zh) | 2024-04-23 |
Family
ID=77880857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110807468.1A Active CN113467618B (zh) | 2021-07-16 | 2021-07-16 | 采集滑动手势的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113467618B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101180803A (zh) * | 2005-01-24 | 2008-05-14 | 缓和剂系统有限公司 | 无线事件验证系统 |
US20130194215A1 (en) * | 2012-01-27 | 2013-08-01 | Olympus Imaging Corp. | Imaging apparatus and continuous shooting imaging methods using a continuous touch user input |
CN104317390A (zh) * | 2014-09-24 | 2015-01-28 | 北京云巢动脉科技有限公司 | 一种基于移动终端虚拟机多手势替代鼠标操作方法及系统 |
CN105425941A (zh) * | 2015-10-28 | 2016-03-23 | 广东欧珀移动通信有限公司 | 一种防止误启动移动终端中应用程序的方法及装置 |
US20160274786A1 (en) * | 2015-03-19 | 2016-09-22 | International Business Machines Corporation | Mobile gesture reporting and replay with unresponsive gestures identification and analysis |
CN110780760A (zh) * | 2018-07-31 | 2020-02-11 | 优视科技有限公司 | 用于终端设备的控制方法、装置及终端设备 |
-
2021
- 2021-07-16 CN CN202110807468.1A patent/CN113467618B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101180803A (zh) * | 2005-01-24 | 2008-05-14 | 缓和剂系统有限公司 | 无线事件验证系统 |
US20130194215A1 (en) * | 2012-01-27 | 2013-08-01 | Olympus Imaging Corp. | Imaging apparatus and continuous shooting imaging methods using a continuous touch user input |
CN104317390A (zh) * | 2014-09-24 | 2015-01-28 | 北京云巢动脉科技有限公司 | 一种基于移动终端虚拟机多手势替代鼠标操作方法及系统 |
US20160274786A1 (en) * | 2015-03-19 | 2016-09-22 | International Business Machines Corporation | Mobile gesture reporting and replay with unresponsive gestures identification and analysis |
CN105425941A (zh) * | 2015-10-28 | 2016-03-23 | 广东欧珀移动通信有限公司 | 一种防止误启动移动终端中应用程序的方法及装置 |
CN110780760A (zh) * | 2018-07-31 | 2020-02-11 | 优视科技有限公司 | 用于终端设备的控制方法、装置及终端设备 |
Non-Patent Citations (3)
Title |
---|
QINYI WANG; YEXIN ZHANG; JUNSONG YUAN; YILONG LU: "Space-Time Event Clouds for Gesture Recognition: From RGB Cameras to Event Cameras", IEEE, 7 March 2019 (2019-03-07) * |
吴学毅;: "OSG多点触控自然用户接口框架", 计算机系统应用, no. 03, 15 March 2017 (2017-03-15) * |
陈号天;宋宇;张海霞;: "基于摩擦纳米发电机的自驱动微系统", 中兴通讯技术, no. 05, 28 September 2018 (2018-09-28) * |
Also Published As
Publication number | Publication date |
---|---|
CN113467618B (zh) | 2024-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220261083A1 (en) | Gesture-based user interface | |
CN105224195B (zh) | 终端操作方法和装置 | |
US9774453B2 (en) | System and method for providing an automated biometric enrollment workflow | |
JP6397036B2 (ja) | 動的なキーボードおよびタッチスクリーンのバイオメトリクス | |
US20140181962A1 (en) | Application executing method using fingerprint recognition, device therefor, and computer readable recording medium therefor | |
CN107194213B (zh) | 一种身份识别方法及装置 | |
CN105425941A (zh) | 一种防止误启动移动终端中应用程序的方法及装置 | |
CN103686274A (zh) | 带指纹识别功能的安卓智能电视遥控器及其遥控处理方法 | |
US20150365515A1 (en) | Method of triggering authentication mode of an electronic device | |
US9207850B2 (en) | Application executing method using fingerprint recognition, device therefor, and computer readable recording medium therefor | |
EP3509012B1 (en) | Fingerprint recognition method and device | |
CN105094874A (zh) | 一种启动应用的方法和系统 | |
CN104951677B (zh) | 一种信息处理方法和装置 | |
CN111831204B (zh) | 设备控制方法、装置、存储介质及电子设备 | |
CN110647732B (zh) | 一种基于生物识别特征的语音交互方法、系统、介质和设备 | |
CN110929240A (zh) | 一种登录管理方法、终端及计算机存储介质 | |
US10095911B2 (en) | Methods, devices, and computer-readable mediums for verifying a fingerprint | |
CN113467618B (zh) | 采集滑动手势的方法和装置 | |
EP3211556A1 (en) | Method and device for verifying fingerprint | |
CN104899206A (zh) | 一种进行设备操作的方法和系统 | |
CN115909505A (zh) | 手语识别设备的控制方法、装置、存储介质及电子设备 | |
CN109710131B (zh) | 一种信息控制方法及装置 | |
EP3511813A1 (en) | Force touch method and terminal | |
CN104598009A (zh) | 屏幕按键控制方法及系统 | |
CN109685550A (zh) | 智能设备控制方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40062500 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |