CN114979366B - 一种控件提示方法、装置、终端以及存储介质 - Google Patents
一种控件提示方法、装置、终端以及存储介质 Download PDFInfo
- Publication number
- CN114979366B CN114979366B CN202110205360.5A CN202110205360A CN114979366B CN 114979366 B CN114979366 B CN 114979366B CN 202110205360 A CN202110205360 A CN 202110205360A CN 114979366 B CN114979366 B CN 114979366B
- Authority
- CN
- China
- Prior art keywords
- control
- text information
- text
- target control
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000013507 mapping Methods 0.000 claims abstract description 81
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 239000013643 reference control Substances 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 42
- 238000004590 computer program Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 36
- 230000000981 bystander Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000009191 jumping Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 208000029257 vision disease Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例公开了一种控件提示方法、装置、终端以及存储介质,该方法包括:响应页面触发操作,显示客户端页面,获取由所述客户端页面中的候选控件所构成的候选控件集合;从所述候选控件集合中过滤非业务类型的候选控件,得到业务候选控件;从所述业务候选控件中确定目标控件,检测所述目标控件的控件类型;当检测到所述目标控件的控件类型为非文本控件类型时,从文本信息映射表中获取所述目标控件的第一关联文本信息;基于所述第一关联文本信息对所述目标控件进行语音播报提示。采用本申请,可以使得终端根据用户的操作做出相应的响应,实现用户在操作过程中的操作提示,增加终端的智能性。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种控件提示方法、装置、终端以及存储介质。
背景技术
随着互联网技术的发展,人们在日常生活中对手机、电脑等终端的依赖性越来越高,因此,人们对于终端的智能性的要求也越来越高。
目前,对于有视觉障碍的用户来说,在其操作手机和电脑等终端时,由于视觉的障碍性,尤其对于盲人用户来说,由于不能看见终端屏幕上的各种信息,而导致不能快速的获取其操作过程中的操作提示,也使得用户不能快速的获取终端屏幕上的相关信息,从而影响了用户体验。那么,对于有视觉障碍的用户来说,在其操作手机和电脑等终端时,如何实现其操作过程中的操作提示成为了当前的研究热点。
发明内容
本申请实施例提供了一种控件提示方法、装置、终端以及存储介质,可以使得终端根据用户的操作做出相应的响应,实现用户在操作过程中的操作提示,增加终端的智能性。
本申请实施例一方面公开了一种控件提示方法,该方法包括:
响应页面触发操作,显示客户端页面,获取由客户端页面中的候选控件所构成的候选控件集合;
从候选控件集合中过滤非业务类型的候选控件,得到业务候选控件;
从业务候选控件中确定目标控件,检测目标控件的控件类型;
当检测到目标控件的控件类型为非文本控件类型时,从文本信息映射表中获取目标控件的第一关联文本信息;
基于第一关联文本信息对目标控件进行语音播报提示。
本申请实施例一方面公开了一种控件提示装置,该装置包括:
第一获取单元,用于用于响应页面触发操作,显示客户端页面,获取由客户端页面中的候选控件所构成的候选控件集合;
过滤单元,用于从候选控件集合中过滤非业务类型的候选控件,得到业务候选控件;
检测单元,用于从业务候选控件中确定目标控件,检测目标控件的控件类型;
第二获取单元,用于当检测到目标控件的控件类型为非文本控件类型时,从文本信息映射表中获取目标控件的第一关联文本信息;
提示单元,用于基于第一关联文本信息对目标控件进行语音播报提示。
本申请实施例一方面公开了一种终端,包括处理器、存储器和网络接口,处理器、存储器和网络接口相互连接,其中,存储器用于存储计算机程序,计算机程序包括程序指令,处理器被配置用于调用程序指令,执行上述一方面的方法。
本申请实施例一方面公开了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序包括程序指令,程序指令当被处理器执行时使处理器执行上述一方面的方法。
本申请实施例一方面提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行本申请中一方面等各种可选方式中提供的方法。
在本申请实施例中,终端可以响应页面触发操作后,显示客户端页面,并获取由客户端页面中的候选控件所构成的候选控件集合,接着,从候选控件集合中过滤非业务类型的候选控件,从而得到业务候选控件,然后,从业务候选控件中确定目标控件,并检测目标控件的控件类型,当检测到目标控件的控件类型为非文本控件类型时,可以从文本信息映射表中获取目标控件的第一关联文本信息,进一步的,基于第一关联文本信息对目标控件进行语音播报提示。通过实施上述方法,可以使得终端根据用户的操作做出相应的响应,实现用户在操作过程中的操作提示,增加终端的智能性,可以实现对客户端页面无文本信息控件的语音播报,从而提高页面信息获取效率,也可以提升用户体验。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种控件提示的系统架构图;
图2是本申请实施例提供的一种控件提示方法的流程示意图;
图3a是本申请实施例提供的一种语音播报功能设置的界面示意图;
图3b是本申请实施例提供的一种客户端页面所包含项目的框架示意图;
图3c是本申请实施例提供的一种客户端页面的界面示意图;
图3d是本申请实施例提供的一种弹窗页面的界面示意图;
图3e是本申请实施例提供的一种弹窗页面的界面示意图;
图4a是本申请实施例提供的一种客户端页面的界面示意图;
图4b是本申请实施例提供的一种客户端页面的界面示意图;
图4c是本申请实施例提供的一种确定参考控件的界面示意图;
图4d是本申请实施例提供的一种无障碍属性的框架示意图;
图4e是本申请实施例提供的一种客户端页面的界面示意图;
图4f是本申请实施例提供的一种通知旁白功能的框架示意图;
图4g是本申请实施例提供的一种通知旁白功能的框架示意图;
图4h是本申请实施例提供的一种通知旁白功能的框架示意图;
图5是本申请实施例提供的一种控件提示方法的流程示意图;
图6a是本申请实施例提供的一种客户端页面的界面示意图;
图6b是本申请实施例提供的一种控件文本信息的标题级别的框架示意图;
图6c是本申请实施例提供的一种客户端页面的界面示意图;
图7是本申请实施例提供的一种控件提示装置的结构示意图;
图8是本申请实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,图1是本申请实施例提供的一种控件提示系统的架构示意图。本申请涉及终端101和服务器102。
以终端101为例,终端101可以响应页面触发操作后,显示客户端页面,并获取由客户端页面中的候选控件所构成的候选控件集合,接着,终端101从候选控件集合中过滤非业务类型的候选控件,从而得到业务候选控件,然后,终端101从业务候选控件中确定目标控件,检测目标控件的控件类型,当终端101检测到目标控件的控件类型为非文本控件类型时,可以从服务器102存储的文本信息映射表中获取目标控件的第一关联文本信息,终端101将基于第一关联文本信息对目标控件进行语音播报提示。
图1所示的终端101可以是手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(MID,Mobile Internet Device)、可穿戴设备等智能设备。终端101与服务器102可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
其中,终端101内置有旁白功能,旁白是一种基于手势的屏幕阅读器,可以使得用户在不看终端101的屏幕的情况下,也可以使用终端101,在旁白功能开启的情况下,可以将用户选择的每一个项目朗读给用户,以使得用户得到每一个项目对应的语音播报提示,在旁白功能的作用下,旁白光标可以包围项目,并会朗读项目对应的名称或对该项目进行简单的描述。其中,项目可以是指终端101的屏幕上所包括的文字,按键,图片等等。上述的手势则是旁白功能开启之后用来控制终端101的交互方式,手势可以包括包括双指、三指、四指轻点和轻扫等等。旁白可以集成在IOS或Android中,以使得终端101中的客户端具有旁白功能。
在一种实现方式中,本申请实施例提供的一种控件提示方法,其大致原理如下:终端可以响应页面触发操作后,显示客户端页面,并获取由客户端页面中的候选控件所构成的候选控件集合,接着,从候选控件集合中过滤非业务类型的候选控件,从而得到业务候选控件,然后,从业务候选控件中确定目标控件,并检测目标控件的控件类型,当检测到目标控件的控件类型为非文本控件类型时,可以从文本信息映射表中获取目标控件的第一关联文本信息,进一步的,基于第一关联文本信息对目标控件进行语音播报提示。通过实施上述方法,可以使得终端根据用户的操作做出相应的响应,实现用户在操作过程中的操作提示,增加终端的智能性,可以实现对客户端页面无文本信息控件的语音播报,从而提高页面信息获取效率,也可以提升用户体验。
以下对本申请实施例的技术方案的实现细节进行详细阐述:
请参阅图2,图2是本申请实施例提供的一种控件提示方法的流程示意图。该方法应用于终端,可由终端执行,该控件提示方法可包括:
S201:响应页面触发操作,显示客户端页面,获取由客户端页面中的候选控件所构成的候选控件集合。
在一种实现方式中,终端可以内置有语音播报功能(或者是上述的旁白功能),为了使得终端具有语音播报功能,可以先对终端进行语音播报功能的设置,以使得终端中的目标客户端具有语音播报功能,该目标客户端可以是终端中的任一客户端。可选的,如图3a所示为本申请实施例提供的一种语音播报功能设置的界面示意图,语音播报功能的设置可以如图3a所示的功能设置页面所示,该功能设置页面包括语音播报设置控件,例如可以是如图3a中由301标记的开关,在该语音播报设置控件开启时,允许用户点击目标客户端的各个客户端页面上的各个项目时,可以听到对该项目的描述,即可以听到该项目对应的语音播报提示,其中,客户端页面上的各个项目可以参见如图3b,图3b是本申请实施例提供的一种客户端页面所包含项目的框架示意图,如图3b所示,客户端页面上的各个项目可以包括文本信息,图像,控件等等。例如,当用户点击如图3a中由302标记的文本信息时,用户即可听见对该文本信息的语音播报提示为“语音播报会朗读屏幕上的文本信息”。
在一种实现方式中,终端可以检测到页面触发操作,并在终端界面上显示客户端页面,其中,该客户端页面可以为目标客户端中的客户端页面,而客户端页面可以如图3c所示,如图3c是本申请实施例提供的一种客户端页面的界面示意图。而在终端界面上显示有客户端页面之后,终端还可以获取由客户端页面中的候选控件所构成的候选控件集合。其中,候选控件可以是客户端页面中所显示的所有控件元素,那么,候选控件集合则是该所有控件元素的集合,例如,候选控件可以是如图3c中所显示的电池电量控件、网络连接控件、由303标记的控件、由304标记的控件等等。需要说明的是,候选控件可以是客户端页面中所显示的所有控件元素,也可以是客户端页面中所显示的部分控件元素,可以根据需求预先设置,在本申请不做限定。
在一种实现方式中,上述客户端页面可以包括弹窗页面,那么在检测到页面触发操作时,也可以在目标客户端中显示弹窗页面。例如,如图3d和图3e是本申请实施例分别提供的一种弹窗页面的界面示意图,那么,参考图3d和图3e,在检测到页面触发操作时,输出的弹窗页面可以是如图3d中由305标记的页面,或者是如图3e中由306标记的页面。而针对弹窗页面,可以将弹窗页面中的弹窗控件确定为候选控件,例如,弹窗控件可以是指弹窗页面上的各个控件元素,例如,由305标记的页面中所显示的“操作成功”可以是弹窗控件,又如,由306标记的页面中所显示的“当前网络不可用…”、“确定”也可以是弹窗控件。那么在确定候选控件之后,就可以根据弹窗页面中的候选控件生成候选控件集合。
S202:从候选控件集合中过滤非业务类型的候选控件,得到业务候选控件。
在一种实现方式中,考虑到客户端页面中所显示的控件元素较多,也就是候选控件集合中候选控件的数量较多,且候选控件集合中可能存在部分候选控件并不是针对目标客户端所需的业务型控件,例如,如图3c中所显示的页面标题类控件(例如消息控件)、电池电量控件、网络连接控件等并不是用户在使用目标客户端所需要的控件,那么,这类控件可以称之为非业务类型的控件。对应的,业务候选控件可以是客户端页面中的应用控件,其中,应用控件可以理解为该控件是具有某种应用功能的控件,应用控件可以如图3a中由301标记的开关控件、图3c中由303标记的会议控件、图3c中由303标记的控件等等。需要说明的是,本申请实施例中非业务类型的候选控件和业务候选控件的定义可以根据需求预先定义,不限于上述的理解,且非业务类型的候选控件和业务候选控件可以根据需求预先设置,在本申请不做限定。在从上述可知,终端可以从候选控件集合中过滤出非业务类型的候选控件,以得到业务候选控件。
其中,针对客户端页面为弹窗页面而言,弹窗页面中的弹窗控件是属于业务候选控件的,也就是说,由弹窗控件生成的候选控件集合中的候选控件均为业务候选控件。
S203:从业务候选控件中确定目标控件,检测目标控件的控件类型。
在一种实现方式中,业务候选控件的数量可以为至少两个,那么,终端可以从至少两个业务候选控件中确定出目标控件,而在确定出目标控件之后,即可检测目标控件的控件类型,以根据该控件类型来对目标控件进行语音播报提示。
在一种实现方式中,可以根据业务候选控件的提示优先级从业务候选控件中确定目标控件,也可以根据业务候选控件的控件排列顺序从业务候选控件中确定目标控件。
可选的,根据提示优先级从业务候选控件中确定目标控件的具体实施方式可以是:先获取至少两个业务候选控件的提示优先级,其中,该提示优先级可以根据需求预先设置。而在确定每个业务候选控件对应的提示优先级之后,即可根据每个业务候选控件对应的提示优先级从至少两个业务候选控件中确定目标控件。其中,该提示优先级可以用数字表示,例如1、2、3等等,且数字越小,提示优先级越高,例如,若某一业务候选控件对应的提示优先级所显示的数字为1,则表示该某一业务候选控件最高。在本申请中,可以将提示优先级最高的业务候选控件确定为目标控件。
举例来说,当目标客户端的客户端页面进行页面跳转时,例如,当从目标客户端的第一客户端页面跳转到第二客户端页面时,通常会在第二客户端页面中存在一个页面焦点,即从第一客户端页面跳转到第二客户端页面时,页面光标在第二客户端页面所指向的位置,其中,页面光标可以理解为页面中的黑色外框,也可以是其他形式,在本申请不做限定。目前,通常是将第二客户端页面中的页面标题默认为页面焦点。例如,如图4a是本申请实施例提供的一种客户端页面的界面示意图,第一客户端页面可以是如图4a中由41标记的页面,第二客户端页面可以是如图4b中由42标记的页面,那么,当用户点击工作台后,目标客户端当前的客户端页面可由41标记的页面跳转到由42标记的页面,而在跳转到由42标记的页面之后,页面焦点是42标记的页面的页面标题,该页面标题可以如42标记的页面中由401标记的标题所示。又如,如图4b是本申请实施例提供的一种客户端页面的界面示意图,第一客户端页面可以是如图4b中由43标记的页面,第二客户端页面可以是如图4b中由44标记的页面,那么,当用户点击工作台后,目标客户端当前的页面可由43标记的页面跳转到由44标记的页面,而在跳转到由44标记的页面之后,页面焦点是44标记的页面的页面标题,该页面标题可以如44标记的页面中由403标记的标题。而这个默认的页面焦点会增加了用户的额外操作,例如,当用户需要点击42标记的页面中的某个应用控件时,需要先点击42标记的页面中的任一应用控件,在点击之后,才可以滑动该页面进行后续的应用控件的选择。其中,上述的应用控件可以理解为该控件是具有某种应用功能的控件,例如由42标记的页面中的微盘控件,收集表控件等等均是应用控件。
为解决上述问题,可以重新设置客户端页面中的页面焦点,以使得用户在使用语音播报功能时,可以减少用户在语音播报使用过程中的操作,降低语音播报使用过程中操作的难度。而上述页面焦点即可以是本申请实施例中的目标控件,也就是可以将页面焦点设置为提示优先级最高的业务候选控件。其中,可以预先设置客户端页面中各个业务候选控件的提示优先级。例如,业务候选控件可以包括如图4a由42标记的页面中由401标记的控件(工作台控件)、由402标记的控件(微盘控件)、收集表控件、邮箱控件等等,那么,可以对由42标记的页面中的各个业务候选控件设置对应的提示优先级,而为了保证用户在使用语音播报功能时,可以减少用户在语音播报使用过程中的操作,降低语音播报使用过程中操作的难度,可以将由402标记的控件(微盘控件)对应的提示优先级设置的最高。那么,在获取到各个业务候选控件的提示优先级之后,可以根据提示优先级将由402标记的控件确定为目标控件。又如,业务候选控件可以包括如图4b由44标记的页面中由403标记的控件(工作台控件)、由404标记的控件(企业管理控件)、添加应用控件、上门服务控件等等,那么,可以对由44标记的页面中的各个业务候选控件设置对应的提示优先级,其中,可以将由404标记的控件(企业管理控件)对应的提示优先级设置的最高。那么,在获取到各个业务候选控件的提示优先级之后,可以根据提示优先级将由404标记的控件确定为目标控件。
需要说明的是,如图4a由42标记的页面中由401标记的控件(工作台控件)或如图4b由44标记的页面中由403标记的控件(工作台控件)可以在步骤S202中过滤掉,即可以将工作台控件预先设置为非业务类型的候选控件,那么,根据步骤S202,即可过滤该工作台控件。
可选的,根据控件排列顺序从业务候选控件中确定目标控件的具体实施方式可以是:先获取至少两个业务候选控件在客户端页面中的控件排列顺序,其中,该控件排列顺序具体可以为如下说明,针对如图4a中由42标记的页面,控件排列顺序可以是业务候选控件在客户端页面中所在位置从上到下的顺序,假设,业务候选控件是客户端页面中的应用控件(应用控件可以理解为该控件是具有某种应用功能的控件,例如由44标记的页面中的微盘控件,收集表控件等等均是应用控件)。例如,由42标记的页面中各个业务候选控件的控件排列顺序依次是微盘控件、收集表控件、邮箱控件…;如果客户端页面中的业务候选控件是以多行的形式排列,且每一行存在多个候选控件,例如图4b中由44标记的页面中各个业务候选控件的显示方式,在这种情况下,控件排列顺序可以是依照行的形式进行顺序的排列,即先对第一行进行顺序的排列,再对第二行进行顺序的排列,依次类推,即可得到控件排列顺序,例如由44标记的页面中各个业务候选控件的位置排列顺序依次是企业管理控件、添加应用控件、上们服务控件、公费电话控件、打卡控件…。那么,在获取每个业务候选控件的控件排列顺序之后,即可以根据控件排列顺序确定目标控件,其中,可以将处于第一控件排列顺序对应的业务候选控件确定为目标控件。例如,可以将由402标记的微盘控件确定为目标控件,又如,可以将由404标记的企业管理控件确定为目标控件。
在一种实现方式中,在确定目标控件之后,还可以检测目标控件的控件类型,以确定该目标控件的控件类型。可选的,该控件类型可以包括非文本控件类型和文本控件类型,其中,非文本控件类型可以是指在该目标控件处不存在控件文本信息,对应的,文本控件类型可以是指在该目标控件处存在控件文本信息。例如,如果目标控件为如图3c中由303标记的控件,可以看出该控件处不存在文本信息,那么,可以确定由303标记的控件为非文本控件类型,又如,如果目标控件为如图3c中由304标记的控件,可以看出该控件处存在文本信息,那么,可以确定由304标记的控件为文本控件类型。
S204:当检测到目标控件的控件类型为非文本控件类型时,从文本信息映射表中获取目标控件的第一关联文本信息。
在一种实现方式中,可以在检测到目标控件的控件类型为非文本控件类型时,获取该目标控件对应的第一关联文本信息,以使得后续基于该第一关联文本信息对目标控件进行语音播报提示。可选的,可以从文本信息映射表中获取目标控件的第一关联文本信息,其中,该文本信息映射表可以是预先设置的,而该文本信息映射的具体生成方式可以是:可以获取一个或多个参考控件以及针对每个参考控件的参考文本信息,例如,可以将客户端页面导航栏中不包括文本信息的控件确定为参考控件,如图4c是本申请实施例提供的一种确定参考控件的界面示意图,如图4c所示的导航栏中的两个控件,可以理解的是,这两个控件根据目标客户端中控件的功能可以确定分别为会议控件和更多控件,而在用户点击该两个控件时,并不会有相应的语音播报提示,即可将这两个控件确定为参考控件,那么,会议控件的参考文本信息即是“会议”,更多控件的参考文本信息即是“更多”。其中,该一个或多个参考控件可以包括上述的目标控件,在确定一个或多个参考控件以及每个参考控件的参考文本信息之后,即可建立每个参考控件分别与所属的参考文本信息之间的文本映射关系,进一步的,可以根据每个参考控件与所属的参考文本信息之间的文本映射关系,即可生成文本信息映射表。例如,文本信息映射表可以如表1所示。从表1可知,当参考控件为会议控件时,可以确定控件对应的参考文本信息为“会议”,当参考控件为搜索控件时,可以确定控件对应的参考文本信息为“搜索”。
表1:
参考控件 | 参考文本信息 |
会议控件 | 会议 |
更多控件 | 更多 |
搜索控件 | 搜索 |
… | … |
在一种实现方式中,当检测到目标控件的控件类型为非文本控件类型时,即可将文本信息映射表中与目标控件具有文本映射关系的参考文本信息,确定为目标控件的第一关联文本信息。具体实现中,可以在检测到目标控件的控件类型为非文本控件类型时,可以将该目标控件与文本信息映射表中的任意一个参考控件进行匹配,确定文本信息映射表中是否存在该目标控件,如果确定该目标控件与文本映射表中的任意一个参考控件相匹配,即可表示该确定文本信息映射表中存在该目标控件,那么,可将与目标控件具有文本映射关系的参考文本信息,确定为目标控件的第一关联文本信息。例如,如表1所示,文本信息映射表中存储的参考控件包括会议控件、更多控件、搜索控件,若终端识别到的目标控件为会议控件,则终端确定该目标控件与文本信息映射表中存储的参考控件(会议控件)相匹配,并找到会议控件对应的参考文本信息作为目标控件的第一关联文本信息。若终端识别到的目标控件为更多控件,则终端确定该目标控件与文本信息映射表中存储的参考控件(更多控件)相匹配,并找到更多控件对应的参考文本信息作为目标控件的第一关联文本信息。
在一种实现方式中,目标客户端可以基于旁白功能(语音播报功能)提供的各种功能来实现目标客户端的个性化语音播报提示,进而实现用户与终端的无障碍交互。其中,旁白功能提供的各种功能对应的属性可以参考图4d,图4d是本申请实施例提供的一种无障碍属性的框架示意图。可以设置各个属性对应的值,即可实现目标客户端的个性化语音播报提示。例如,Accessibility(无障碍)中所包括的isAccessibilityElement(无障碍元素)属性可以设置为正确或者错误,正确则表示旁白功能可用。AccessibilityLabel(无障碍标签)属性可以用于简洁地描述控件,例如某控件的功能是“添加”或“播放”,则该控件的AccessibilityLabel属性对应的值可以是“添加”或“播放”,而上述表1各个参考控件对应的参考文本信息即是AccessibilityLabel属性对应的值。AccessibilityHint(无障碍提示)属性可以用于描述作用于控件上的操作所得到的结果,例如某控件操作所得到的结果是“添加标题”或“查看购物车”,则该控件的AccessibilityHint属性对应的值可以是“添加标题”或“查看购物车”。AccessibilityTraits(无障碍特性)属性表示一个或多个特征的组合,每个特征用于描述控件的某一个方面,例如状态、行为或用法等方面。AccessibilityFrame(无障碍帧框架)属性可以表示屏幕中某控件的坐标和大小。
S205:基于第一关联文本信息对目标控件进行语音播报提示。
在一种实现方式中,在确定目标控件的第一关联文本信息之后,即可以基于该第一关联文本信息对目标控件进行语音播报提示,具体地,可以对该第一关联文本信息进行朗读,来对该目标控件进行语音播报提示。例如,如果用户点击如图3c中由303标记的控件时,可以检测出该控件为非文本控件类型,且可以识别出该控件为会议控件,并根据文本信息映射表确定了该控件的第一关联文本信息为“会议”,那么,在确定该控件的第一关联文本信息之后,即可对第一关联文本信息进行朗读,而用户也可以听见针对该控件的语音播报提示,该语音播报提示即是“会议”。又如,如图4e是本申请实施例提供的一种客户端页面的界面示意图,如果用户点击如图4e中由405标记的控件时,可以检测出该控件为非文本控件类型,且可以识别出该控件为更多控件,并根据文本信息映射表确定了该控件的第一关联文本信息为“更多”,那么,在确定该控件的第一关联文本信息之后,即可对第一关联文本信息进行朗读,而用户也可以听见针对该控件的语音播报提示,该语音播报提示即是“更多”。可以看出,通过对目标控件进行语音播报提示,可以在用户不看终端的情况下,也可以获取终端屏幕上的相关信息,从而实现了用户与终端的无障碍交互。
在一种实现方式中,在基于第一关联文本信息对目标控件进行语音播报提示时,还可以依照不同的语音播报音色对第一关联文本信息进行朗读,以实现对目标控件的语音播报提示,可以丰富对目标控件的语音播报提示方法,提高用户体验。可选的,可以根据第一关联文本信息的文本类型来确定针对该第一关联文本信息对应的语音播报音色。其中,可以预先建立文本类型与语音播报音色的对应关系,例如,预先建立的文本类型与语音播报音色的对应关系可以如表2所示。从表2可知,当第一关联文本信息的文本类型为文本类型1时,可以确定第一关联文本信息对应的语音播报音色为女声1,例如女声1可以是甜美可爱女声,当第一关联文本信息的文本类型为文本类型4时,可以确定第一关联文本信息对应的语音播报音色为男声2,例如男生2可以是阳光活力男生。
表2:
文本类型 | 语音播报音色 |
文本类型1 | 女声1 |
文本类型2 | 女声2 |
文本类型3 | 男声1 |
文本类型4 | 男声2 |
在一种实现方式中,可以在确定目标控件的第一关联文本信息之后,进一步确定第一关联文本信息的文本类型,再根据文本类型确定针对第一关联文本信息的语音播报音色,那么,在确定第一关联文本信息对应的语音播报音色之后,即可以基于第一关联文本信息和语音播报音色,对目标控件进行语音播报提示。例如,当在确定目标控件的第一关联文本信息之后,确定该第一关联文本信息的文本类型为文本类型1,根据表2可以确定针对第一关联文本信息的语音播报音色为女声1,那么在确定第一关联文本信息的语音播报音色之后,即可利用女声1对第一关联文本信息进行朗读,而用户也可以听见利用女声1对目标控件的语音播报提示。
在一种实现方式中,在基于第一关联文本信息对目标控件进行语音播报提示时,可以是根据旁白功能(语音播报功能)接收到的通知后,再基于第一关联文本信息对目标控件进行语音播报提示。具体实现中,可以在针对客户端页面注册相应的通知,例如,如图4f所示,图4f是本申请实施例提供的一种通知旁白功能的框架示意图,从图4f中可以看出,可以先针对客户端页面注册相应的通知,例如页面布局变化通知和页面元素变化通知,其中,页面布局变化通知可以理解为当在目标客户端的客户端页面上有一个新的视图(例如弹窗页面)出现,并覆盖终端屏幕的主要部分时,由目标客户端发送的通知。页面元素变化通知可以理解为当终端屏幕布局改变时,例如当目标客户端的客户端页面上的一个元素(例如控件)出现或消失时,由目标客户端发送的通知。那么,在客户端页面发生变化时,可以向旁白功能发送通知,以使得旁白功能根据该通知进行后续的语音播报提示。
例如,当上述描述的目标客户端的客户端页面进行页面跳转时,例如,从目标客户端的第一客户端页面跳转到第二客户端页面时,可以参考图4g,图4g是本申请实施例提供的一种通知旁白功能的框架示意图,如果目标客户端是发生了如图4g所示的页面布局变化以及页面元素变化,那么,可以通知旁白功能,以进行后续的语音播报提示,终端的扬声器可以发声,以使得利用该扬声器对页面焦点(目标控件)进行语音播报提示。其中,可以是在目标客户端发生了页面布局变化或者页面元素变化时,向旁白功能发送通知,以进行后续的语音播报提示,也可以是旁白功能监听到目标客户端发生了页面布局变化或者页面元素变化时进行后续的语音播报提示。
在一种实现方式中,如图4h所示,图4h是本申请实施例提供的一种通知旁白功能的框架示意图,从图4h中可以看出,在目标客户端的弹窗页面为非模态弹窗页面或模态弹窗页面时也可以以通知的形式,以实现后续的对非模态弹窗页面或模态弹窗页面的语音播报提示。具体实现中,当弹窗页面为非模态弹窗控件或模态弹窗控件时,可以向旁白功能主动发送通知,而旁白功能接收到该通知后,可以关联上非模态弹窗页面或模态弹窗页面所包括的目标控件的控件文本信息,以对该控件文本信息进行语音播报提示。其中,非模态弹窗页面是一种简易的消息提示窗口,例如可以是如图3d中由305标记的页面,该非模态弹窗页面所显示的文本信息通常是针对需要服务器需要返回类似“成功”或者“失败”结果的页面触发操作触发的。模态弹窗页面可以是如图3e中由306标记的页面,该模态弹窗页面所显示的文本信息通常包括说明性的标题、文字和确定按钮。
在本申请实施例中,终端可以响应页面触发操作后,显示客户端页面,并获取由客户端页面中的候选控件所构成的候选控件集合,接着,从候选控件集合中过滤非业务类型的候选控件,从而得到业务候选控件,然后,从业务候选控件中确定目标控件,并检测目标控件的控件类型,当检测到目标控件的控件类型为非文本控件类型时,从文本信息映射表中获取目标控件的第一关联文本信息,进一步的,基于第一关联文本信息对目标控件进行语音播报提示。通过实施上述方法,可以使得终端根据用户的操作做出相应的响应,实现用户在操作过程中的操作提示,增加终端的智能性,可以实现对客户端页面无文本信息控件的语音播报,从而提高页面信息获取效率,也可以提升用户体验。
请参阅图5,图5是本申请实施例提供的一种控件提示方法的流程示意图。该方法应用于终端,可由终端执行,该控件提示方法可包括:
S501:响应页面触发操作,显示客户端页面,获取由客户端页面中的候选控件所构成的候选控件集合,从候选控件集合中过滤非业务类型的候选控件,得到业务候选控件,从业务候选控件中确定目标控件,检测目标控件的控件类型。
S502:当检测到目标控件的控件类型为非文本控件类型时,从文本信息映射表中获取目标控件的第一关联文本信息,基于第一关联文本信息对目标控件进行语音播报提示。
其中,其中,步骤S501和S502的具体实施方式可以参见上述实施例步骤S201-S205的具体描述,此处不再赘述。
S503:当检测到目标控件的控件类型为文本控件类型,且检测到文本映射表中不存在目标控件的第二关联文本信息时,获取目标控件所包含的控件文本信息,基于控件文本信息对目标控件进行语音播报提示。
在一种实现方式中,当检测到目标控件的控件类型为文本控件类型时,还可以检测文本映射表中是否存在目标控件的第二关联文本信息,以根据检测结果对目标控件进行语音播报提示。可选的,当检测到文本映射表中不存在目标控件的第二关联文本信息时,则获取目标控件所包含的控件文本信息,以基于控件文本信息对目标控件进行语音播报提示。具体实施中,当检测到目标控件的控件类型为文本控件类型时,进一步可以将该目标控件与文本信息映射表中的任意一个参考控件进行匹配,确定文本信息映射表中是否存在该目标控件,如果确定该目标控件与文本映射表中的所有参考控件均不匹配,则可以确定文本映射表中不存在目标控件的第二关联文本信息,那么,可以获取目标控件所包含的控件文本信息,其中,目标控件所包含的控件文本信息即是目标控件处显示的文本信息,并基于控件文本信息对目标控件进行语音播报提示。
举例来说,如图6a是本申请实施例提供的一种客户端页面的界面示意图,目标控件可以为如图6a中由601标记的控件,那么,可以将该控件与文本映射表中的参考控件进行匹配,如果匹配不到对应的参考控件,则可以确定文本映射表中不存在目标控件的第二关联文本信息,那么,可以获取由601标记的控件处的控件文本信息,获取到的该控件文本信息即为“微盘”,在获取到该控件文本信息之后,可以对该控件文本信息进行朗读,也就可以得到对目标控件的语音播报提示为“微盘”。
在一种实现方式中,在获取目标控件所包含的控件文本信息时,获取到的控件文本信息的数量可能是一个也可能是两个以上,在获取到的控件文本信息的数量是一个的情况下,对该一个控件文本信息进行朗读,即可实现对目标控件进行语音播报提示。如果获取到的控件文本信息的数量是至少两个的情况下,可以考虑该至少两个控件文本信息中每个控件文本信息的语音播报优先级,以根据语音播报优先级对实现对目标控件的语音播报提示,可以丰富对目标控件的语音播报提示方法,提高用户体验。具体实现中,可以获取至少两个控件文本信息中每个控件文本信息的语音播报优先级,那么,在确定每个控件文本信息的语音播报优先级之后,再根据各个控件文本信息的语音播报优先级确定针对至少两个控件文本信息的语音播报顺序。其中,若某一控件文本信息的语音播报优先级越高,在该某一控件文本信息的语音播报顺序也就越靠前。而在确定每个控件文本信息的语音播报顺序之后,即可根据语音播报顺序对每个控件文本信息进行朗读,从而实现对目标控件的语音播报提示。
可选的,每个控件文本信息的语音播报优先级可以根据每个控件文本信息在客户端页面中的位置确定,当控件文本信息的所在位置距离客户端页面的上边界长度越短,则该控件文本信息的语音播报优先级越高。
可选的,每个控件文本信息的语音播报优先级可以根据每个控件文本信息的标题级别来确定,终端可以识别每个控件文本信息的标题级别,当控件文本信息的标题级别越高,则该控件文本信息的语音播报优先级越高。其中,该标题级别可以参加图6b,图6b是本申请实施例提供的一种控件文本信息的标题级别的框架示意图,如图6b所示,该标题级别可以是主标题、副标题…,其中,主标题的标题级别最高,而主标题以下的标题级别依次降低。
举例来说,以获取到的控件文本信息的数量为两个为例进行说明,例如,图6c是本申请实施例提供的一种客户端页面的界面示意图,如果目标控件为如图6c中由603标记的控件,那么,可以获取到两个控件文本信息,该两个控件文本信息分别是“汇报”,“汇报填写提醒”。如果根据每个控件文本信息距离客户端页面的上边界的长度来确定语音播报优先级,那么,根据图6c中由603标记的控件可知,“汇报”与“汇报填写提醒”的语音播报优先级从高到低的顺序依次是“汇报”、“汇报填写提醒”,对应的,可以确定“汇报”与“汇报填写提醒”的语音播报顺序从高到低的顺序依次是“汇报”、“汇报填写提醒”,那么,可以先对“汇报”进行朗读,再对“汇报填写提醒”进行朗读。如果根据每个控件文本信息对应的标题级别来确定语音播报优先级,可以识别出“汇报”与“汇报填写提醒”的标题级别从高到低的顺序依次是“汇报”、“汇报填写提醒”,对应的,可以确定“汇报”与“汇报填写提醒”的语音播报顺序从高到低的顺序依次是“汇报”、“汇报填写提醒”,那么,可以先对“汇报”进行朗读,再对“汇报填写提醒”进行朗读。
S504:当检测到目标控件的控件类型为文本控件类型,且检测到文本映射表中存在目标控件的第二关联文本信息时,基于第二关联文本信息对目标控件进行语音播报提示。
在一种实现方式中,当检测到目标控件的控件类型为文本控件类型,且检测到文本映射表中存在目标控件的第二关联文本信息时,则基于第二关联文本信息对目标控件进行语音播报提示。具体实现中,可以在检测到目标控件的控件类型为文本控件类型时,可以将目标控件与文本信息映射表中的任意一个参考控件进行匹配,确定文本信息映射表中是否存在该目标控件,如果确定该目标控件与文本映射表中的任意一个参考控件相匹配,即可表示该确定文本信息映射表中存在该目标控件,那么,可查找文本信息映射表中与该目标控件相匹配的参考控件对应的参考文本信息,并将该参考文本信息确定为目标控件的第二关联文本信息,后续基于该第二关联文本信息对目标控件进行语音播报提示。
举例来说,目标控件为如图6a中由602标记的控件,那么,可以将该控件与文本映射表中的参考控件进行匹配,如果匹配到对应的参考控件,则可以获取该匹配到的参考控件对应的参考文本信息,该参考文本信息可以是“信息收集表”,那么,“信息收集表”即为由602标记的控件对应的第二关联文本信息,后续可以对“信息收集表”进行朗读,可以看出,相比于由602标记的控件处的控件文本信息“收集表”,从文本映射表中获取到的第二关联文本信息更加具体,详细,从而可以使得用户更加清晰的了解该控件的功能或基本信息,提高针对控件的语音播报提示的准确性。
在一种实现方式中,当检测到目标控件的控件类型为文本控件类型时,可以检测文本映射表中是否存在目标控件的第二关联文本信息,以根据检测结果对目标控件进行语音播报提示,还可以直接获取目标控件所包含的控件文本信息,以基于控件文本信息对目标控件进行语音播报提示。
需要说明的是,上述基于控件文本信息对目标控件进行语音播报提示或基于第二关联文本信息对目标控件进行语音播报提示时,也可以根据控件文本信息语音播报音色或第二关联文本信息的语音播报音色对目标控件进行语音播报提示,其中,语音播报音色的确定方法可以参考上述第一关联文本信息的语音播报音色的确定方法,在此处不在赘述。
在本申请实施例中,终端可以响应页面触发操作后,显示客户端页面,并获取由客户端页面中的候选控件所构成的候选控件集合,接着,从候选控件集合中过滤非业务类型的候选控件,从而得到业务候选控件,然后,从业务候选控件中确定目标控件,并检测目标控件的控件类型,当检测到目标控件的控件类型为非文本控件类型时,从文本信息映射表中获取目标控件的第一关联文本信息,基于第一关联文本信息对目标控件进行语音播报提示。当检测到目标控件的控件类型为文本控件类型,且检测到文本映射表中不存在目标控件的第二关联文本信息时,获取目标控件所包含的控件文本信息,基于控件文本信息对目标控件进行语音播报提示。当检测到目标控件的控件类型为文本控件类型,且检测到文本映射表中存在目标控件的第二关联文本信息时,基于第二关联文本信息对目标控件进行语音播报提示。通过实施上述方法,可以使得终端根据用户的操作做出相应的响应,实现用户在操作过程中的操作提示,增加终端的智能性,可以实现对客户端页面无文本信息控件的语音播报,从而提高页面信息获取效率,也可以提升用户体验。
请参阅图7,图7是本申请实施例提供的一种基于控件提示装置的结构示意图。本实施例中所描述的控件提示装置,包括:
第一获取单元701,用于响应页面触发操作,显示客户端页面,获取由客户端页面中的候选控件所构成的候选控件集合;
过滤单元702,用于从候选控件集合中过滤非业务类型的候选控件,得到业务候选控件;
检测单元703,用于从业务候选控件中确定目标控件,检测目标控件的控件类型;
第二获取单元704,用于当检测到目标控件的控件类型为非文本控件类型时,从文本信息映射表中获取目标控件的第一关联文本信息;
提示单元705,用于基于第一关联文本信息对目标控件进行语音播报提示。
在一种实现方式中,装置还包括生成单元706,生成单元706,具体用于:
获取一个或多个参考控件以及针对每个参考控件的参考文本信息,其中,一个或多个参考控件包括目标控件;
建立每个参考控件分别与所属的参考文本信息之间的文本映射关系;
根据每个参考控件与所属的参考文本信息之间的文本映射关系,生成文本信息映射表;
第二获取单元704,具体用于:当检测到目标控件的控件类型为非文本控件类型时,将文本信息映射表中与目标控件具有文本映射关系的参考文本信息,确定为目标控件的第一关联文本信息。
在一种实现方式中,业务候选控件的数量为至少两个;检测单元703,具体用于:
获取至少两个业务候选控件的提示优先级,根据至少两个业务候选控件的提示优先级从至少两个业务候选控件中确定目标控件;或者,
获取至少两个业务候选控件在客户端页面中的控件排列顺序,根据控件排列顺序从至少两个业务候选控件中确定目标控件。
在一种实现方式中,客户端页面包括弹窗页面;第一获取单元701,具体用于:
响应页面触发操作,显示弹窗页面;
将弹窗页面中的弹窗控件确定为弹窗页面中的候选控件;
根据弹窗页面中的候选控件生成候选控件集合;弹窗控件属于候选控件集合中的业务候选控件。
在一种实现方式中,提示单元705,还用于:
当检测到目标控件的控件类型为文本控件类型,且检测到文本映射表中不存在目标控件的第二关联文本信息时,获取目标控件所包含的控件文本信息,基于控件文本信息对目标控件进行语音播报提示;
当检测到目标控件的控件类型为文本控件类型,且检测到文本映射表中存在目标控件的第二关联文本信息时,基于第二关联文本信息对目标控件进行语音播报提示。
在一种实现方式中,控件文本信息的数量为至少两个;提示单元705,具体用于:
获取至少两个控件文本信息中每个控件文本信息的语音播报优先级;
根据各个控件文本信息的语音播报优先级确定针对至少两个控件文本信息的语音播报顺序;
基于至少两个控件文本信息和语音播报顺序,对目标控件进行语音播报提示。
在一种实现方式中,提示单元705,具体用于:
确定第一关联文本信息的文本类型;
根据文本类型确定针对第一关联文本信息的语音播报音色;
基于第一关联文本信息和语音播报音色,对目标控件进行语音播报提示。
可以理解,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。本申请实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
在本申请实施例中,终端可以响应页面触发操作后,显示客户端页面,并获取由客户端页面中的候选控件所构成的候选控件集合,接着,从候选控件集合中过滤非业务类型的候选控件,从而得到业务候选控件,然后,从业务候选控件中确定目标控件,并检测目标控件的控件类型,当检测到目标控件的控件类型为非文本控件类型时,从文本信息映射表中获取目标控件的第一关联文本信息,基于第一关联文本信息对目标控件进行语音播报提示。当检测到目标控件的控件类型为文本控件类型,且检测到文本映射表中不存在目标控件的第二关联文本信息时,获取目标控件所包含的控件文本信息,基于控件文本信息对目标控件进行语音播报提示。当检测到目标控件的控件类型为文本控件类型,且检测到文本映射表中存在目标控件的第二关联文本信息时,基于第二关联文本信息对目标控件进行语音播报提示。通过实施上述方法,可以使得终端根据用户的操作做出相应的响应,实现用户在操作过程中的操作提示,增加终端的智能性,可以实现对客户端页面无文本信息控件的语音播报,从而提高页面信息获取效率,也可以提升用户体验。
请参阅图8,图8是本申请实施例提供的一种终端的结构示意图。该终端包括:处理器801、存储器802以及网络接口803。上述处理器801、存储器802以及网络接口803之间可以交互数据。
上述处理器801可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述存储器802可以包括只读存储器和随机存取存储器,并向处理器801提供程序指令和数据。存储器802的一部分还可以包括非易失性随机存取存储器。其中,处理器801调用程序指令时用于执行:
响应页面触发操作,显示客户端页面,获取由客户端页面中的候选控件所构成的候选控件集合;
从候选控件集合中过滤非业务类型的候选控件,得到业务候选控件;
从业务候选控件中确定目标控件,检测目标控件的控件类型;
当检测到目标控件的控件类型为非文本控件类型时,从文本信息映射表中获取目标控件的第一关联文本信息;
基于第一关联文本信息对目标控件进行语音播报提示。
在一种实现方式中,处理器801,还用于:
获取一个或多个参考控件以及针对每个参考控件的参考文本信息,其中,一个或多个参考控件包括目标控件;
建立每个参考控件分别与所属的参考文本信息之间的文本映射关系;
根据每个参考控件与所属的参考文本信息之间的文本映射关系,生成文本信息映射表;
处理器801,具体用于:当检测到目标控件的控件类型为非文本控件类型时,将文本信息映射表中与目标控件具有文本映射关系的参考文本信息,确定为目标控件的第一关联文本信息。
在一种实现方式中,业务候选控件的数量为至少两个;处理器801,具体用于:
获取至少两个业务候选控件的提示优先级,根据至少两个业务候选控件的提示优先级从至少两个业务候选控件中确定目标控件;或者,
获取至少两个业务候选控件在客户端页面中的控件排列顺序,根据控件排列顺序从至少两个业务候选控件中确定目标控件。
在一种实现方式中,客户端页面包括弹窗页面;处理器801,具体用于:
响应页面触发操作,显示弹窗页面;
将弹窗页面中的弹窗控件确定为弹窗页面中的候选控件;
根据弹窗页面中的候选控件生成候选控件集合;弹窗控件属于候选控件集合中的业务候选控件。
在一种实现方式中,处理器801,还用于:
当检测到目标控件的控件类型为文本控件类型,且检测到文本映射表中不存在目标控件的第二关联文本信息时,获取目标控件所包含的控件文本信息,基于控件文本信息对目标控件进行语音播报提示;
当检测到目标控件的控件类型为文本控件类型,且检测到文本映射表中存在目标控件的第二关联文本信息时,基于第二关联文本信息对目标控件进行语音播报提示。
在一种实现方式中,控件文本信息的数量为至少两个;处理器801,具体用于:
获取至少两个控件文本信息中每个控件文本信息的语音播报优先级;
根据各个控件文本信息的语音播报优先级确定针对至少两个控件文本信息的语音播报顺序;
基于至少两个控件文本信息和语音播报顺序,对目标控件进行语音播报提示。
在一种实现方式中,处理器801,具体用于:
确定第一关联文本信息的文本类型;
根据文本类型确定针对第一关联文本信息的语音播报音色;
基于第一关联文本信息和语音播报音色,对目标控件进行语音播报提示。
本申请实施例还提供了一种计算机存储介质,该计算机存储介质中存储有程序指令,程序执行时可包括如图2或者图5对应实施例中的控件提示方法的部分或全部步骤。
需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。终端的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该终端执行上述各方法的实施例中所执行的步骤。
以上对本申请实施例所提供的一种控件提示方法、装置、终端以及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种控件提示方法,其特征在于,应用于屏幕阅读器,包括:
响应页面触发操作,显示客户端页面,获取由所述客户端页面中的候选控件所构成的候选控件集合;
从所述候选控件集合中过滤非业务类型的候选控件,得到业务候选控件,所述业务候选控件包括客户端页面中用于触发应用功能的应用控件;
从所述业务候选控件中确定目标控件,检测所述目标控件的控件类型,所述控件类型包括非文本控件类型和文本控件类型,所述非文本控件类型的目标控件不存在控件文本信息,所述文本控件类型的目标控件存在控件文本信息;
当检测到所述目标控件的控件类型为非文本控件类型时,从文本信息映射表中获取所述目标控件的第一关联文本信息;
基于所述第一关联文本信息对所述目标控件进行语音播报提示;
当检测到所述目标控件的控件类型为文本控件类型,且检测到所述文本信息映射表中不存在所述目标控件的第二关联文本信息时,获取所述目标控件所包含的控件文本信息,基于所述控件文本信息对所述目标控件进行语音播报提示;
当检测到所述目标控件的控件类型为所述文本控件类型,且检测到所述文本信息映射表中存在所述目标控件的所述第二关联文本信息时,基于所述第二关联文本信息对所述目标控件进行语音播报提示。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取一个或多个参考控件以及针对每个参考控件的参考文本信息,其中,所述一个或多个参考控件包括所述目标控件;
建立所述每个参考控件分别与所属的参考文本信息之间的文本映射关系;
根据所述每个参考控件与所属的参考文本信息之间的文本映射关系,生成所述文本信息映射表;
所述当检测到所述目标控件的控件类型为非文本控件类型时,从文本映射表中获取所述目标控件的第一关联文本信息,包括:
当检测到所述目标控件的控件类型为所述非文本控件类型时,将所述文本信息映射表中与所述目标控件具有文本映射关系的参考文本信息,确定为所述目标控件的所述第一关联文本信息。
3.根据权利要求1所述的方法,其特征在于,所述业务候选控件的数量为至少两个;
所述从所述业务候选控件中确定目标控件,包括:
获取所述至少两个业务候选控件的提示优先级,根据所述至少两个业务候选控件的提示优先级从所述至少两个业务候选控件中确定所述目标控件;或者,
获取所述至少两个业务候选控件在所述客户端页面中的控件排列顺序,根据所述控件排列顺序从所述至少两个业务候选控件中确定所述目标控件。
4.根据权利要求1所述的方法,其特征在于,所述客户端页面包括弹窗页面;
所述响应页面触发操作,显示客户端页面,获取由所述客户端页面中的候选控件所构成的候选控件集合,包括:
响应所述页面触发操作,显示所述弹窗页面;
将所述弹窗页面中的弹窗控件确定为所述弹窗页面中的候选控件;
根据所述弹窗页面中的候选控件生成所述候选控件集合;所述弹窗控件属于所述候选控件集合中的所述业务候选控件。
5.根据权利要求1所述的方法,其特征在于,所述控件文本信息的数量为至少两个;
所述基于所述控件文本信息对所述目标控件进行语音播报提示,包括:
获取至少两个控件文本信息中每个控件文本信息的语音播报优先级;
根据所述各个控件文本信息的语音播报优先级确定针对所述至少两个控件文本信息的语音播报顺序;
基于所述至少两个控件文本信息和所述语音播报顺序,对所述目标控件进行语音播报提示。
6.根据权利要求1所述的方法,其特征在于,所述基于所述第一关联文本信息对所述目标控件进行语音播报提示,包括:
确定所述第一关联文本信息的文本类型;
根据所述文本类型确定针对所述第一关联文本信息的语音播报音色;
基于所述第一关联文本信息和所述语音播报音色,对所述目标控件进行语音播报提示。
7.一种控件提示装置,其特征在于,应用于屏幕阅读器,所述装置包括:
第一获取单元,用于响应页面触发操作,显示客户端页面,获取由所述客户端页面中的候选控件所构成的候选控件集合;
过滤单元,用于从所述候选控件集合中过滤非业务类型的候选控件,得到业务候选控件,所述业务候选控件包括客户端页面中用于触发应用功能的应用控件;
检测单元,用于从所述业务候选控件中确定目标控件,检测所述目标控件的控件类型,所述控件类型包括非文本控件类型和文本控件类型,所述非文本控件类型的目标控件不存在控件文本信息,所述文本控件类型的目标控件存在控件文本信息;
第二获取单元,用于当检测到所述目标控件的控件类型为非文本控件类型时,从文本信息映射表中获取所述目标控件的第一关联文本信息;
提示单元,用于基于所述第一关联文本信息对所述目标控件进行语音播报提示,以及用于当检测到所述目标控件的控件类型为文本控件类型,且检测到所述文本信息映射表中不存在所述目标控件的第二关联文本信息时,获取所述目标控件所包含的控件文本信息,基于所述控件文本信息对所述目标控件进行语音播报提示;当检测到所述目标控件的控件类型为所述文本控件类型,且检测到所述文本信息映射表中存在所述目标控件的所述第二关联文本信息时,基于所述第二关联文本信息对所述目标控件进行语音播报提示。
8.一种终端,其特征在于,包括处理器、存储器和网络接口,所述处理器、存储器和网络接口相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110205360.5A CN114979366B (zh) | 2021-02-24 | 2021-02-24 | 一种控件提示方法、装置、终端以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110205360.5A CN114979366B (zh) | 2021-02-24 | 2021-02-24 | 一种控件提示方法、装置、终端以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114979366A CN114979366A (zh) | 2022-08-30 |
CN114979366B true CN114979366B (zh) | 2023-10-13 |
Family
ID=82972680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110205360.5A Active CN114979366B (zh) | 2021-02-24 | 2021-02-24 | 一种控件提示方法、装置、终端以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114979366B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103853355A (zh) * | 2014-03-17 | 2014-06-11 | 吕玉柱 | 电子设备操作方法及其操控设备 |
CN104461346A (zh) * | 2014-10-20 | 2015-03-25 | 天闻数媒科技(北京)有限公司 | 一种视障人士触控屏幕的方法、装置及智能触屏移动终端 |
CN106326104A (zh) * | 2015-07-08 | 2017-01-11 | 腾讯科技(深圳)有限公司 | 终端控件测试方法及装置 |
CN108874356A (zh) * | 2018-05-31 | 2018-11-23 | 珠海格力电器股份有限公司 | 语音播报方法、装置、移动终端和存储介质 |
CN111681640A (zh) * | 2020-05-29 | 2020-09-18 | 北京百度网讯科技有限公司 | 播报文本的确定方法、装置、设备和介质 |
CN111737620A (zh) * | 2020-05-29 | 2020-10-02 | 北京沃东天骏信息技术有限公司 | 一种页面访问方法、装置、设备及介质 |
CN111742539A (zh) * | 2018-08-07 | 2020-10-02 | 华为技术有限公司 | 一种语音控制命令生成方法及终端 |
CN111984180A (zh) * | 2020-08-26 | 2020-11-24 | 深圳前海微众银行股份有限公司 | 终端读屏方法、装置、设备及计算机可读存储介质 |
-
2021
- 2021-02-24 CN CN202110205360.5A patent/CN114979366B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103853355A (zh) * | 2014-03-17 | 2014-06-11 | 吕玉柱 | 电子设备操作方法及其操控设备 |
CN104461346A (zh) * | 2014-10-20 | 2015-03-25 | 天闻数媒科技(北京)有限公司 | 一种视障人士触控屏幕的方法、装置及智能触屏移动终端 |
CN106326104A (zh) * | 2015-07-08 | 2017-01-11 | 腾讯科技(深圳)有限公司 | 终端控件测试方法及装置 |
CN108874356A (zh) * | 2018-05-31 | 2018-11-23 | 珠海格力电器股份有限公司 | 语音播报方法、装置、移动终端和存储介质 |
CN111742539A (zh) * | 2018-08-07 | 2020-10-02 | 华为技术有限公司 | 一种语音控制命令生成方法及终端 |
CN111681640A (zh) * | 2020-05-29 | 2020-09-18 | 北京百度网讯科技有限公司 | 播报文本的确定方法、装置、设备和介质 |
CN111737620A (zh) * | 2020-05-29 | 2020-10-02 | 北京沃东天骏信息技术有限公司 | 一种页面访问方法、装置、设备及介质 |
CN111984180A (zh) * | 2020-08-26 | 2020-11-24 | 深圳前海微众银行股份有限公司 | 终端读屏方法、装置、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114979366A (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3407221B1 (en) | Methods and devices for searching and displaying information on a terminal | |
US11669219B2 (en) | Launching application task based on single user input and preset condition | |
KR102225192B1 (ko) | 보안 질문들을 생성하고 아이덴티티들을 검증하기 위한 방법 및 장치 | |
CN105095345B (zh) | 推送消息的提示方法及装置 | |
CN102999334B (zh) | 一种基于Android平台的快捷方式实现方法、装置及终端 | |
RU2637884C2 (ru) | Способ и устройство для отображения метки на пиктограмме | |
CN106961384A (zh) | 一种消息处理方法及电子设备 | |
CN104994227A (zh) | 一种信息处理方法及装置、终端 | |
US20170064084A1 (en) | Method and Apparatus for Implementing Voice Mailbox | |
CN107241655A (zh) | 一种视频播放方法、装置、存储介质和终端 | |
CN103475787A (zh) | 一种提供联系人相关信息的方法及移动终端 | |
CN107566642A (zh) | 一种功能模式切换的方法、装置及智能终端 | |
US10158981B2 (en) | Method and device for pushing information during call and storage medium | |
US20140115496A1 (en) | Method and Apparatus for Switching Among Multiple Message Reply Windows | |
CN113268682A (zh) | 基于导航栏的页面内容展示方法、装置、设备及存储介质 | |
EP2746913A1 (en) | Method and device for switching multiple message response windows | |
CN106506775A (zh) | 显示联系人列表的方法及装置、终端设备 | |
CN114979366B (zh) | 一种控件提示方法、装置、终端以及存储介质 | |
CN104202482B (zh) | 一种通信记录处理设备、方法以及移动终端 | |
CN109688041B (zh) | 信息处理方法、装置及服务器、智能终端、存储介质 | |
WO2017107049A1 (zh) | 一种通过压力筛选对象的方法及装置 | |
CN104468940B (zh) | 电子设备的显示方法、显示装置及电子设备 | |
CN107145286B (zh) | 浏览交互处理方法及装置 | |
CN102739866B (zh) | 一种信息的播报方法、系统及移动终端 | |
CN104199616A (zh) | 一种移动终端的信息输入方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |