CN111324275B - 显示画面中元素的播报方法及装置 - Google Patents

Abstract

本发明公开了一种显示画面中元素的播报方法及装置。其中，该方法包括：在确定对目标应用的当前显示画面执行了目标操作的情况下，响应目标操作，获取为当前显示画面创建的具有对应关系的目标元素和目标读屏信息，其中，目标操作用于请求目标应用所在的系统为当前显示画面中的显示内容提供读屏服务，显示内容为不允许被读屏服务识别的内容，目标元素为根据当前显示画面中的显示内容创建的元素，目标读屏信息用于指示允许系统的读屏服务识别目标元素；根据检测到的对当前显示画面执行的触控操作和目标读屏信息播报目标元素。本发明解决了相关技术中无法为应用的显示画面提供系统的读屏服务的技术问题。

Description

显示画面中元素的播报方法及装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种显示画面中元素的播报方法及装置。

背景技术

为了方便视障人士使用设备，很多设备的系统(比如：安卓系统、IOS系统等等)会提供读屏服务，将屏幕上的控件用语音描述的方式播报给用户，称为无障碍化读屏服务。但是，现有的系统提供的读屏服务只能够对屏幕上的控件进行识别，无法识别出其他形式实现的画面中的元素。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种显示画面中元素的播报方法及装置，以至少解决相关技术中无法为应用的显示画面提供系统的读屏服务的技术问题。

根据本发明实施例的一个方面，提供了一种显示画面中元素的播报方法，包括：在确定对目标应用的当前显示画面执行了目标操作的情况下，响应所述目标操作，获取为所述当前显示画面创建的具有对应关系的目标元素和目标读屏信息，其中，所述目标操作用于请求所述目标应用所在的系统为所述当前显示画面中的显示内容提供读屏服务，所述显示内容为不允许被所述读屏服务识别的内容，所述目标元素为根据所述当前显示画面中的显示内容创建的元素，所述目标读屏信息用于指示允许所述系统的读屏服务识别所述目标元素；根据检测到的对所述当前显示画面执行的触控操作和所述目标读屏信息播报所述目标元素。

根据本发明实施例的另一方面，还提供了一种显示画面中元素的播报方法，包括：获取为目标应用的当前显示画面中的目标元素创建的目标读屏信息，其中，所述当前显示画面中的显示内容被设置为不允许被所述目标应用所在系统的读屏服务识别；将具有对应关系的所述目标元素和所述目标读屏信息发送至所述系统，其中，所述目标读屏信息用于指示允许所述系统的读屏服务识别所述目标元素，所述目标读屏信息用于指示允许所述系统的读屏服务识别所述目标元素，并根据所述目标读屏信息播报所述目标元素。

根据本发明实施例的另一方面，还提供了一种显示画面中元素的播报装置，包括：第一获取模块，用于在确定对目标应用的当前显示画面执行了目标操作的情况下，响应所述目标操作，获取为所述当前显示画面创建的具有对应关系的目标元素和目标读屏信息，其中，所述目标操作用于请求所述目标应用所在的系统为所述当前显示画面中的显示内容提供读屏服务，所述显示内容为不允许被所述读屏服务识别的内容，所述目标元素为根据所述当前显示画面中的显示内容创建的元素，所述目标读屏信息用于指示允许所述系统的读屏服务识别所述目标元素；播报模块，用于根据检测到的对所述当前显示画面执行的触控操作和所述目标读屏信息播报所述目标元素。

根据本发明实施例的另一方面，还提供了一种显示画面中元素的播报装置，包括：第二获取模块，用于获取为目标应用的当前显示画面中的目标元素创建的目标读屏信息，其中，所述当前显示画面中的显示内容被设置为不允许被所述目标应用所在系统的读屏服务识别；发送单元，用于将具有对应关系的所述目标元素和所述目标读屏信息发送至所述系统，其中，所述目标读屏信息用于指示允许所述系统的读屏服务识别所述目标元素，所述目标读屏信息用于指示允许所述系统的读屏服务识别所述目标元素，并根据所述目标读屏信息播报所述目标元素。

根据本发明实施例的另一方面，还提供了一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项中所述的方法。

根据本发明实施例的另一方面，还提供了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行上述任一项中所述的方法。

在本发明实施例中，采用在确定对目标应用的当前显示画面执行了目标操作的情况下，响应目标操作，获取为当前显示画面创建的具有对应关系的目标元素和目标读屏信息，其中，目标操作用于请求目标应用所在的系统为当前显示画面中的显示内容提供读屏服务，显示内容为不允许被读屏服务识别的内容，目标元素为根据当前显示画面中的显示内容创建的元素，目标读屏信息用于指示允许系统的读屏服务识别目标元素；根据检测到的对当前显示画面执行的触控操作和目标读屏信息播报目标元素的方式，当前显示画面中的显示内容为不允许被系统的读屏服务识别的内容，为当前显示画面中的目标元素创建目标读屏信息以指示系统的读屏服务能够对当前显示画面中的显示内容进行识别，从而在确定对当前显示画面执行了目标操作时，获取具有对应关系的目标元素和目标读屏信息，并根据获取到的目标读屏信息以及触控操作播报该目标元素，从而实现了为应用的显示画面提供系统的读屏服务的技术效果，进而解决了相关技术中无法为应用的显示画面提供系统的读屏服务的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的显示画面中元素的播报方法的示意图；

图2是根据本发明实施例的一种可选的显示画面中元素的播报方法的应用环境示意图；

图3是根据本发明可选的实施方式的一种可选的显示画面中元素的播报方法的示意图；

图4是根据本发明实施例的另一种可选的显示画面中元素的播报方法的示意图；

图5是根据本发明实施例的一种可选的显示画面中元素的播报装置的示意图；

图6是根据本发明实施例的另一种可选的显示画面中元素的播报装置的示意图；

图7是根据本发明实施例的一种可选的显示画面中元素的播报方法的应用场景示意图；以及

图8是根据本发明实施例的一种可选的电子装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种显示画面中元素的播报方法，如图1所示，该方法包括：

S102，在确定对目标应用的当前显示画面执行了目标操作的情况下，响应目标操作，获取为当前显示画面创建的具有对应关系的目标元素和目标读屏信息，其中，目标操作用于请求目标应用所在的系统为当前显示画面中的显示内容提供读屏服务，显示内容为不允许被读屏服务识别的内容，目标元素为根据当前显示画面中的显示内容创建的元素，目标读屏信息用于指示允许系统的读屏服务识别目标元素；

S104，根据检测到的对当前显示画面执行的触控操作和目标读屏信息播报目标元素。

可选地，在本实施例中，上述显示画面中元素的播报方法可以应用于如图2所示的终端202和目标应用204所构成的硬件环境中。如图2所示，终端202上安装了目标应用204，终端202上目标应用204被启动，终端202的屏幕上显示目标应用204的当前显示画面，终端202在确定对目标应用的当前显示画面执行了目标操作的情况下，响应目标操作，从目标应用204获取为当前显示画面创建的具有对应关系的目标元素和目标读屏信息。目标应用204获取为目标应用的当前显示画面中的目标元素创建的目标读屏信息，将具有对应关系的目标元素和目标读屏信息发送至终端202的系统。终端202根据检测到的对当前显示画面执行的触控操作和目标读屏信息播报目标元素。

可选地，在本实施例中，上述显示画面中元素的播报方法可以但不限于由终端执行。例如：上述终端可以但不限于包括：手机、平板电脑、笔记本电脑、影音设备、智能穿戴设备、智能家居设备等等。

可选地，在本实施例中，上述显示画面中元素的播报方法可以但不限于应用于系统为目标应用的当前显示画面提供读屏服务的场景中。其中，上述目标应用可以但不限于为各种类型的客户端，例如，在线教育客户端、即时通讯客户端、社区空间客户端、游戏客户端、购物客户端、浏览器客户端、金融客户端、多媒体客户端、直播客户端等。具体的，可以但不限于应用于在上述系统为游戏客户端的当前显示画面提供读屏服务的场景中，或还可以但不限于应用于在上述系统为多媒体客户端的当前显示画面提供读屏服务的场景中，以实现为应用的显示画面提供系统的读屏服务。上述仅是一种示例，本实施例中对此不做任何限定。

可选地，在本实施例中，当前显示画面中的显示内容被设置为不允许被系统的读屏服务识别。例如：当前显示画面可以但不限于为通过图形绘制方式实现的图像画面。比如：目标应用为OpenGL实现的游戏应用等等。

可选地，在本实施例中，目标操作用于请求目标应用所在的系统为当前显示画面中的显示内容提供读屏服务。也就是说，目标操作可以但不限于为系统的读屏服务的触发操作，比如：对屏幕执行的特定操作(双击屏幕、屏幕手势等等)、对设备按键执行的特定操作(长按、连按等等)、对屏幕和设备按键按一定的操作顺序(同时或者先后)执行的操作等等。

可选地，在本实施例中，具有对应关系的目标元素和目标读屏信息可以但不限于是由目标应用创建的。例如：由目标应用的客户端或者服务器创建的。

可选地，在本实施例中，目标读屏信息中可以但不限于用于指示目标元素在当前显示画面上的位置和目标元素的语音描述内容等等。

在一个可选的实施方式中，如图3所示，游戏应用的当前显示画面为进入游戏前的选择服务器的画面，安装了该游戏应用的终端的系统检测到对游戏应用的当前显示画面执行的目标操作，比如：同时按住音量的大小键3秒，响应该目标操作，获取为当前显示画面创建的具有对应关系的目标元素和目标读屏信息，其中，目标元素包括：界面背景图、选择服务器的操作框中的服务器名称部分、选择服务器的操作框中的换区按键、开始游戏按键、退出游戏按键、注销帐号按键等等。目标读屏信息包括目标元素的位置信息和描述信息，比如：位置信息为目标元素的边界和坐标、描述信息为语音播报的文字内容(界面背景图的描述信息可以是“游戏A的选择服务器界面的背景图，图中显示了英雄B独自站在屋顶，手中执剑，望向远方”)。系统根据检测到的对当前显示画面中元素执行的触控操作(比如单击元素所在位置)和目标读屏信息播报目标元素中被执行了触控操作的元素。

可见，通过上述步骤，当前显示画面中的显示内容为不允许被系统的读屏服务识别的内容，为当前显示画面中的目标元素创建目标读屏信息以指示系统的读屏服务能够对当前显示画面中的显示内容进行识别，从而在确定对当前显示画面执行了目标操作时，获取具有对应关系的目标元素和目标读屏信息，并根据获取到的目标读屏信息以及触控操作播报该目标元素，从而实现了为应用的显示画面提供系统的读屏服务的技术效果，进而解决了相关技术中无法为应用的显示画面提供系统的读屏服务的技术问题。

作为一种可选的方案，获取为当前显示画面创建的具有对应关系的目标元素和目标读屏信息包括：

S1，接收目标应用发送的目标元素和目标元素对应的目标读屏信息，其中，目标读屏信息包括：位置信息和描述信息，位置信息用于指示目标元素在当前显示画面中的显示位置，描述信息用于对目标元素进行语音播报；

S2，在当前显示画面上建立目标元素、位置信息和描述信息之间的对应关系。

可选地，在本实施例中，目标元素和目标元素对应的目标读屏信息可以但不限于是目标应用发送给系统的。目标读屏信息可以但不限于包括：位置信息和描述信息，位置信息用于指示目标元素在当前显示画面中的显示位置，描述信息用于对目标元素进行语音播报。

可选地，在本实施例中，位置信息可以但不限于包括：边界信息和坐标信息等等。边界信息用于指示目标元素在当前显示画面上的边界位置，坐标信息用于指示目标元素在当前显示画面上的坐标。

作为一种可选的方案，在当前显示画面上建立目标元素、位置信息和描述信息之间的对应关系包括：

S1，在当前显示画面上创建目标视图；

S2，在目标视图上的目标位置创建目标元素对应的虚拟节点，其中，目标位置为目标视图上与位置信息对应的位置；

S3，存储具有对应关系的虚拟节点、目标位置和描述信息。

可选地，在本实施例中，可以但不限于通过虚拟节点技术建立目标元素、位置信息和描述信息之间的对应关系。

可选地，在本实施例中，目标视图可以但不限于是一层空白透明的View。在这层View上为目标元素创建与当前显示画面中位置对应的虚拟节点。虚拟节点可以但不限于由虚拟节点提供器来建立。虚拟节点提供器还将虚拟节点的目标位置和目标元素的描述信息作为虚拟节点信息与虚拟节点对应的存储起来。

作为一种可选的方案，根据检测到的对当前显示画面执行的触控操作和目标读屏信息播报目标元素包括：

S1，检测到对当前显示画面执行的第一触控操作；

S2，在第一触控操作所属的操作类型为第一操作类型的情况下，获取第一触控操作在目标元素中所对应的元素；

S3，根据第一触控操作在目标元素中所对应的元素在目标读屏信息中所对应的读屏信息播报目标元素。

可选地，在本实施例中，属于第一操作类型的操作可以但不限于为语音播报的触发操作，比如：如果检测到点击目标元素，则播报被点击的目标元素；如果检测到在当前显示画面上滑动，则依次播报滑动路线所经过的目标元素等等。

在上述可选的实施方式中，如果检测到对界面背景图的单击操作，则语音播报界面背景图的描述信息“游戏A的选择服务器界面的背景图，图中显示了英雄B独自站在屋顶，手中执剑，望向远方”。

作为一种可选的方案，在检测到对当前显示画面执行的第一触控操作之后，方法还包括：

S1，在第一触控操作所属的操作类型为第二操作类型的情况下，根据第一触控操作的指示控制目标元素。

可选地，在本实施例中，如果检测到的第一触控操作所属的操作类型为与第一操作类型不同的第二操作类型，则根据第一触控操作的指示控制目标元素。

在上述可选的实施方式中，如果检测到对界面背景图的双击操作，则在界面背景图中显示水纹效果。如果检测到对开始游戏按键的双击操作，则进入游戏，跳转到游戏画面。

作为一种可选的方案，根据检测到的对当前显示画面执行的触控操作和目标读屏信息播报目标元素包括：

S1，检测到对当前显示画面执行的第二触控操作；

S2，响应第二触控操作，确定第二触控操作在当前显示画面上的触控位置；

S3，确定触控位置在目标元素中所对应的元素；

S4，播报触控位置所对应的元素在目标读屏信息中所对应的读屏信息。

可选的，在本实施例中，可以根据第二触控操作在当前显示画面中的触控位置确定目标元素中哪个或者哪些元素被执行了第二触控操作，并对被执行了第二触控操作的元素进行播报。

根据本发明实施例的一个方面，提供了一种显示画面中元素的播报方法，如图4所示，该方法包括：

S402，获取为目标应用的当前显示画面中的目标元素创建的目标读屏信息，其中，当前显示画面中的显示内容被设置为不允许被目标应用所在系统的读屏服务识别；

S404，将具有对应关系的目标元素和目标读屏信息发送至系统，其中，目标读屏信息用于指示允许系统的读屏服务识别目标元素，目标读屏信息用于指示允许系统的读屏服务识别目标元素，并根据目标读屏信息播报目标元素。

可选地，在本实施例中，上述显示画面中元素的播报方法可以但不限于由目标应用执行。例如：由目标应用的客户端执行或者目标应用的服务器执行。

可选地，在本实施例中，上述显示画面中元素的播报方法可以但不限于应用于系统为目标应用的当前显示画面提供读屏服务的场景中。其中，上述目标应用可以但不限于为各种类型的客户端，例如，在线教育客户端、即时通讯客户端、社区空间客户端、游戏客户端、购物客户端、浏览器客户端、金融客户端、多媒体客户端、直播客户端等。具体的，可以但不限于应用于在上述系统为游戏客户端的当前显示画面提供读屏服务的场景中，或还可以但不限于应用于在上述系统为多媒体客户端的当前显示画面提供读屏服务的场景中，以实现为应用的显示画面提供系统的读屏服务。上述仅是一种示例，本实施例中对此不做任何限定。

可选地，在本实施例中，当前显示画面中的显示内容被设置为不允许被系统的读屏服务识别。例如：当前显示画面可以但不限于为通过图形绘制方式实现的图像画面。比如：目标应用为OpenGL实现的游戏应用等等。

可见，通过上述步骤，当前显示画面中的显示内容被设置为不允许被系统的读屏服务识别，为当前显示画面中的目标元素创建目标读屏信息以指示系统的读屏服务能够对当前显示画面中的显示内容进行识别，从而在检测到对当前显示画面执行目标操作时，获取具有对应关系的目标元素和目标读屏信息，并根据获取到的目标读屏信息以及触控操作播报该目标元素，从而实现了为应用的显示画面提供系统的读屏服务的技术效果，进而解决了相关技术中无法为应用的显示画面提供系统的读屏服务的技术问题。

作为一种可选的方案，在获取为目标应用的当前显示画面中的元素创建的读屏信息之前，方法还包括：

S1，在绘制目标应用所包括的显示画面中每个显示画面的过程中，根据每个显示画面中的显示内容创建每个显示画面中的元素，并检测每个显示画面中的元素的位置信息，其中，位置信息用于指示每个显示画面中的元素在每个显示画面中的位置；

S2，生成每个显示画面中的元素的描述信息，其中，描述信息用于对每个显示画面中的元素进行语音播报；

S3，建立每个显示画面中的元素与每个显示画面中的元素的读屏信息之间的对应关系，其中，每个显示画面中的元素的读屏信息包括位置信息和描述信息。

可选地，在本实施例中，可以但不限于在目标应用中设置元素构造器来创建显示画面的元素和元素的读屏信息。

可选地，在本实施例中，目标应用可以但不限于创建每个显示画面中的元素和元素的读屏信息。

可选地，在本实施例中，当前显示画面中的目标元素可以但不限于是由目标应用在绘制当前显示画面的过程中根据当前显示画面中的显示内容创建的。例如：当前显示画面是游戏的选择服务器画面，画面中显示的内容包括：界面背景图、选择服务器的操作框、开始游戏按键、退出游戏按键、注销帐号按键等等。该游戏应用可以在选择服务器画面的绘制过程中为上述内容创建元素，并生成元素的读屏信息。比如：元素A对应了界面背景图，元素A的位置信息为界面背景图的边界和坐标，元素A的描述信息可以是“游戏A的选择服务器界面的背景图，图中显示了英雄B独自站在屋顶，手中执剑，望向远方”。

作为一种可选的方案，获取为目标应用的当前显示画面中的目标元素创建的目标读屏信息包括：

S1，从具有对应关系的每个显示画面中的元素与每个显示画面中的元素的读屏信息中获取当前显示画面中的目标元素所对应的读屏信息作为目标读屏信息。

可选地，在本实施例中，在目标应用中可以设置节点管理器对各个显示画面中的元素和元素的读屏信息进行管理。

可选地，在本实施例中，在目标应用为系统提供当前显示画面中的目标元素和目标元素对应的目标读屏信息时可以但不限于由节点管理器从具有对应关系的每个显示画面中的元素与每个显示画面中的元素的读屏信息中获取当前显示画面中的目标元素所对应的读屏信息作为目标读屏信息。

可选地，在本实施例中，还可以在目标应用中设置场景管理器将显示界面进行场景的划分，以方便元素的管理。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

根据本发明实施例的另一个方面，还提供了一种用于实施上述显示画面中元素的播报方法的显示画面中元素的播报装置，如图5所示，该装置包括：

第一获取模块52，用于在确定对目标应用的当前显示画面执行了目标操作的情况下，响应目标操作，获取为当前显示画面创建的具有对应关系的目标元素和目标读屏信息，其中，目标操作用于请求目标应用所在的系统为当前显示画面中的显示内容提供读屏服务，显示内容为不允许被读屏服务识别的内容，目标元素为根据当前显示画面中的显示内容创建的元素，目标读屏信息用于指示允许系统的读屏服务识别目标元素；

播报模块54，用于根据检测到的对当前显示画面执行的触控操作和目标读屏信息播报目标元素。

可选地，在本实施例中，上述显示画面中元素的播报装置可以但不限于由终端执行。例如：上述终端可以但不限于包括：手机、平板电脑、笔记本电脑、影音设备、智能穿戴设备、智能家居设备等等。

可选地，在本实施例中，上述显示画面中元素的播报装置可以但不限于应用于系统为目标应用的当前显示画面提供读屏服务的场景中。其中，上述目标应用可以但不限于为各种类型的客户端，例如，在线教育客户端、即时通讯客户端、社区空间客户端、游戏客户端、购物客户端、浏览器客户端、金融客户端、多媒体客户端、直播客户端等。具体的，可以但不限于应用于在上述系统为游戏客户端的当前显示画面提供读屏服务的场景中，或还可以但不限于应用于在上述系统为多媒体客户端的当前显示画面提供读屏服务的场景中，以实现为应用的显示画面提供系统的读屏服务。上述仅是一种示例，本实施例中对此不做任何限定。

可选地，在本实施例中，当前显示画面中的显示内容被设置为不允许被系统的读屏服务识别。例如：当前显示画面可以但不限于为通过图形绘制方式实现的图像画面。比如：目标应用为OpenGL实现的游戏应用等等。

可选地，在本实施例中，目标操作用于请求目标应用所在的系统为当前显示画面中的显示内容提供读屏服务。也就是说，目标操作可以但不限于为系统的读屏服务的触发操作，比如：对屏幕执行的特定操作(双击屏幕、屏幕手势等等)、对设备按键执行的特定操作(长按、连按等等)、对屏幕和设备按键按一定的操作顺序(同时或者先后)执行的操作等等。

可选地，在本实施例中，具有对应关系的目标元素和目标读屏信息可以但不限于是由目标应用创建的。例如：由目标应用的客户端或者服务器创建的。

可选地，在本实施例中，目标读屏信息中可以但不限于用于指示目标元素在当前显示画面上的位置和目标元素的语音描述内容等等。

可见，通过上述装置，当前显示画面中的显示内容为不允许被系统的读屏服务识别的内容，为当前显示画面中的目标元素创建目标读屏信息以指示系统的读屏服务能够对当前显示画面中的显示内容进行识别，从而在确定对当前显示画面执行了目标操作时，获取具有对应关系的目标元素和目标读屏信息，并根据获取到的目标读屏信息以及触控操作播报该目标元素，从而实现了为应用的显示画面提供系统的读屏服务的技术效果，进而解决了相关技术中无法为应用的显示画面提供系统的读屏服务的技术问题。

作为一种可选的方案，第一获取模块包括：

接收单元，用于接收目标应用发送的目标元素和目标元素对应的目标读屏信息，其中，目标读屏信息包括：位置信息和描述信息，位置信息用于指示目标元素在当前显示画面中的显示位置，描述信息用于对目标元素进行语音播报；

建立单元，用于在当前显示画面上建立目标元素、位置信息和描述信息之间的对应关系。

作为一种可选的方案，建立单元包括：

第一创建子单元，用于在当前显示画面上创建目标视图；

第二创建子单元，用于在目标视图上的目标位置创建目标元素对应的虚拟节点，其中，目标位置为目标视图上与位置信息对应的位置；

存储子单元，用于存储具有对应关系的虚拟节点、目标位置和描述信息。

作为一种可选的方案，播报模块包括：

第一检测单元，用于检测到对当前显示画面执行的第一触控操作；

第一获取单元，用于在第一触控操作所属的操作类型为第一操作类型的情况下，获取第一触控操作在目标元素中所对应的元素；

第一播报单元，用于根据第一触控操作在目标元素中所对应的元素在目标读屏信息中所对应的读屏信息播报目标元素。

作为一种可选的方案，上述装置还包括：

控制模块，用于在第一触控操作所属的操作类型为第二操作类型的情况下，根据第一触控操作的指示控制目标元素。

作为一种可选的方案，播报模块包括：

第二检测单元，用于检测到对当前显示画面执行的第二触控操作；

第一确定单元，用于响应第二触控操作，确定第二触控操作在当前显示画面上的触控位置；

第二确定单元，用于确定触控位置在目标元素中所对应的元素；

第二播报单元，用于播报触控位置所对应的元素在目标读屏信息中所对应的读屏信息。

根据本发明实施例的另一个方面，还提供了另一种用于实施上述显示画面中元素的播报方法的显示画面中元素的播报装置，如图6所示，该装置包括：

第二获取模块62，用于获取为目标应用的当前显示画面中的目标元素创建的目标读屏信息，其中，当前显示画面中的显示内容被设置为不允许被目标应用所在系统的读屏服务识别；

发送单元64，用于将具有对应关系的目标元素和目标读屏信息发送至系统，其中，目标读屏信息用于指示允许系统的读屏服务识别目标元素，目标读屏信息用于指示允许系统的读屏服务识别目标元素，并根据目标读屏信息播报目标元素。

可选地，在本实施例中，上述显示画面中元素的播报装置可以但不限于由目标应用执行。例如：由目标应用的客户端执行或者目标应用的服务器执行。

可选地，在本实施例中，上述显示画面中元素的播报装置可以但不限于应用于系统为目标应用的当前显示画面提供读屏服务的场景中。其中，上述目标应用可以但不限于为各种类型的客户端，例如，在线教育客户端、即时通讯客户端、社区空间客户端、游戏客户端、购物客户端、浏览器客户端、金融客户端、多媒体客户端、直播客户端等。具体的，可以但不限于应用于在上述系统为游戏客户端的当前显示画面提供读屏服务的场景中，或还可以但不限于应用于在上述系统为多媒体客户端的当前显示画面提供读屏服务的场景中，以实现为应用的显示画面提供系统的读屏服务。上述仅是一种示例，本实施例中对此不做任何限定。

可选地，在本实施例中，当前显示画面中的显示内容被设置为不允许被系统的读屏服务识别。例如：当前显示画面可以但不限于为通过图形绘制方式实现的图像画面。比如：目标应用为OpenGL实现的游戏应用等等。

可见，通过上述装置，当前显示画面中的显示内容被设置为不允许被系统的读屏服务识别，为当前显示画面中的目标元素创建目标读屏信息以指示系统的读屏服务能够对当前显示画面中的显示内容进行识别，从而在检测到对当前显示画面执行目标操作时，获取具有对应关系的目标元素和目标读屏信息，并根据获取到的目标读屏信息以及触控操作播报该目标元素，从而实现了为应用的显示画面提供系统的读屏服务的技术效果，进而解决了相关技术中无法为应用的显示画面提供系统的读屏服务的技术问题。

作为一种可选的方案，上述装置还包括：

创建模块，用于在绘制目标应用所包括的显示画面中每个显示画面的过程中，根据每个显示画面中的显示内容创建每个显示画面中的元素，并检测每个显示画面中的元素的位置信息，其中，位置信息用于指示每个显示画面中的元素在每个显示画面中的位置；

生成模块，用于生成每个显示画面中的元素的描述信息，其中，描述信息用于对每个显示画面中的元素进行语音播报；

建立模块，用于建立每个显示画面中的元素与每个显示画面中的元素的读屏信息之间的对应关系，其中，每个显示画面中的元素的读屏信息包括位置信息和描述信息。

作为一种可选的方案，第二获取模块包括：

第二获取单元，用于从具有对应关系的每个显示画面中的元素与每个显示画面中的元素的读屏信息中获取当前显示画面中的目标元素所对应的读屏信息作为目标读屏信息。

本发明实施例的应用环境可以但不限于参照上述实施例中的应用环境，本实施例中对此不再赘述。本发明实施例提供了用于实施上述实时通信的连接方法的一种可选的具体应用示例。

作为一种可选的实施例，上述显示画面中元素的播报方法可以但不限于应用于如图7所示的为OpenGL实现的应用程序提供系统的读屏服务的场景中。在本场景中，针对Android和iOS终端上基于OpenGL技术实现的应用程序无法被系统读屏服务识别的问题，提出一种无需更改原有实现，代码侵入性小，可便捷移植的无障碍化方法。

本方法可以让视障用户能在手机端使用基于OpenGL技术实现的功能，感知到场景的变化并能正常进行操作。在OpenGL实现的场景上覆盖一层View，然后对View进行无障碍化，并通过OpenGL层与上层系统的通讯来实现。

在本场景中，采用了虚拟节点技术，虚拟节点技术是对系统View实现虚拟节点提供器的接口，让系统读屏服务在访问这个系统View时，获取到的不再是这个系统View上的节点信息，而是获取到虚拟节点提供器所返回的虚拟节点信息。在本场景中，虚拟节点并非是界面上存在的系统控件构造的，而是根据绘制的元素来构造。每个虚拟节点跟元素一一对应。虚拟节点提供器计算出每个元素的坐标和边界，这样当系统读屏服务访问每个元素时都能有无障碍焦点。虚拟节点提供器还维护着虚拟节点的顺序，可以做到滑动遍历每个元素。

在本场景中，将会在OpenGL与View之间搭建起联系，通过虚拟节点技术，将OpenGL中的元素识别为虚拟节点，如图7所示，首先，在OpenGL实现中增加元素构造器。元素构造器是负责记录每个显示画面中当前的元素，通常是在元素产生时构造，计算出元素的边界和坐标，设定元素的描述，然后将这些信息交给节点管理器。节点管理器收到这些信息后，会通知虚拟节点构造器根据这些信息来构造虚拟节点。当元素不再存在当前显示画面时，OpenGL就通知节点管理器将这个元素节点移除。节点管理器收到移除请求后，通知虚拟节点管理器移除对应的虚拟节点。这样，就将虚拟节点与OpenGL中的元素搭建起联系。

接着，在OpenGL实现的场景上覆盖一层空白透明新的View，这个View实现了虚拟节点提供器接口，但是虚拟节点提供器中不再设定提供多少个虚拟节点，也不再设定每个虚拟节点的边界、描述、坐标等信息。这些信息将通过在OpenGL实现层去生成的节点管理器获取。

最后，由于OpenGL中的场景经常会发生变化，比如游戏中从菜单场景进入关卡选择场景，这种场景的变化需要整体刷新虚拟节点。所以，还额可以提供一个场景管理器，当从场景A进入到场景B时，通知虚拟节点管理器将所有场景A中的虚拟节点移除，将场景B中的虚拟节点加入。

通过上述场景中的方法，解决了OpenGL无障碍化的问题，在保证不修改OpenGL原有实现的前提下，在系统读屏服务中完美实现无障碍化，并且具有代码侵入小的特点，在已有实现上增加元素的构造和场景管理即可，对原有框架和逻辑改动小。应用程序实现初期可不考虑无障碍化，只需在后期接入时进行微小改造。还能够完美支持系统读屏服务，符合视障用户的使用习惯，视障用户无须学习新的操作方式。

根据本发明实施例的又一个方面，还提供了一种用于实施上述显示画面中元素的播报的电子装置，如图8所示，该电子装置包括：一个或多个(图中仅示出一个)处理器802、存储器804、传感器806、编码器808以及传输装置810，该存储器中存储有计算机程序，该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，在确定对目标应用的当前显示画面执行了目标操作的情况下，响应目标操作，获取为当前显示画面创建的具有对应关系的目标元素和目标读屏信息，其中，目标操作用于请求目标应用所在的系统为当前显示画面中的显示内容提供读屏服务，显示内容为不允许被读屏服务识别的内容，目标元素为根据当前显示画面中的显示内容创建的元素，目标读屏信息用于指示允许系统的读屏服务识别目标元素；

S2，根据检测到的对当前显示画面执行的触控操作和目标读屏信息播报目标元素。

可选地，在本实施例中，上述处理器还可以被设置为通过计算机程序执行以下步骤：

S1，获取为目标应用的当前显示画面中的目标元素创建的目标读屏信息，其中，当前显示画面中的显示内容被设置为不允许被目标应用所在系统的读屏服务识别；

S2，将具有对应关系的目标元素和目标读屏信息发送至系统，其中，目标读屏信息用于指示允许系统的读屏服务识别目标元素，目标读屏信息用于指示允许系统的读屏服务识别目标元素，并根据目标读屏信息播报目标元素。

可选地，本领域普通技术人员可以理解，图8所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图8其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图8中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图8所示不同的配置。

其中，存储器802可用于存储软件程序以及模块，如本发明实施例中的显示画面中元素的播报方法和装置对应的程序指令/模块，处理器804通过运行存储在存储器802内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的目标组件的控制方法。存储器802可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器802可进一步包括相对于处理器804远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

上述的传输装置810用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置810包括一个网络适配器(NetworkInterface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置810为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

其中，具体地，存储器802用于存储应用程序。

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，在确定对目标应用的当前显示画面执行了目标操作的情况下，响应目标操作，获取为当前显示画面创建的具有对应关系的目标元素和目标读屏信息，其中，目标操作用于请求目标应用所在的系统为当前显示画面中的显示内容提供读屏服务，显示内容为不允许被读屏服务识别的内容，目标元素为根据当前显示画面中的显示内容创建的元素，目标读屏信息用于指示允许系统的读屏服务识别目标元素；

S2，根据检测到的对当前显示画面执行的触控操作和目标读屏信息播报目标元素。

可选地，在本实施例中，上述存储介质还可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取为目标应用的当前显示画面中的目标元素创建的目标读屏信息，其中，当前显示画面中的显示内容被设置为不允许被目标应用所在系统的读屏服务识别；

S2，将具有对应关系的目标元素和目标读屏信息发送至系统，其中，目标读屏信息用于指示允许系统的读屏服务识别目标元素，目标读屏信息用于指示允许系统的读屏服务识别目标元素，并根据目标读屏信息播报目标元素。

可选地，存储介质还被设置为存储用于执行上述实施例中的方法中所包括的步骤的计算机程序，本实施例中对此不再赘述。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种显示画面中元素的播报方法，其特征在于，包括：

在确定对目标应用的当前显示画面执行了目标操作的情况下，响应所述目标操作，获取为所述当前显示画面创建的具有对应关系的目标元素和目标读屏信息，其中，所述目标操作用于请求所述目标应用所在的系统为所述当前显示画面中的显示内容提供读屏服务，所述显示内容为不允许被所述读屏服务识别的内容，所述目标元素为所述目标应用根据所述当前显示画面中的显示内容创建的元素，所述目标读屏信息为所述目标应用创建的、允许所述系统的读屏服务识别所述目标元素的信息；

根据检测到的对所述当前显示画面执行的触控操作和所述目标读屏信息播报所述目标元素。

2.根据权利要求1所述的方法，其特征在于，获取为所述当前显示画面创建的具有对应关系的目标元素和目标读屏信息包括：

接收所述目标应用发送的所述目标元素和所述目标元素对应的所述目标读屏信息，其中，所述目标读屏信息包括：位置信息和描述信息，所述位置信息用于指示所述目标元素在所述当前显示画面中的显示位置，所述描述信息用于对所述目标元素进行语音播报；

在所述当前显示画面上建立所述目标元素、所述位置信息和所述描述信息之间的对应关系。

3.根据权利要求2所述的方法，其特征在于，在所述当前显示画面上建立所述目标元素、所述位置信息和所述描述信息之间的对应关系包括：

在所述当前显示画面上创建目标视图；

在所述目标视图上的目标位置创建所述目标元素对应的虚拟节点，其中，所述目标位置为所述目标视图上与所述位置信息对应的位置；

存储具有对应关系的所述虚拟节点、所述目标位置和所述描述信息。

4.根据权利要求3所述的方法，其特征在于，根据检测到的对所述当前显示画面执行的触控操作和所述目标读屏信息播报所述目标元素包括：

检测到对所述当前显示画面执行的第一触控操作；

在所述第一触控操作所属的操作类型为第一操作类型的情况下，获取所述第一触控操作在所述目标元素中所对应的元素；

根据所述第一触控操作在所述目标元素中所对应的元素在所述目标读屏信息中所对应的读屏信息播报所述目标元素。

5.根据权利要求4所述的方法，其特征在于，在检测到对所述当前显示画面执行的第一触控操作之后，所述方法还包括：

在所述第一触控操作所属的操作类型为第二操作类型的情况下，根据所述第一触控操作的指示控制所述目标元素。

6.根据权利要求1所述的方法，其特征在于，根据检测到的对所述当前显示画面执行的触控操作和所述目标读屏信息播报所述目标元素包括：

检测到对所述当前显示画面执行的第二触控操作；

响应所述第二触控操作，确定所述第二触控操作在所述当前显示画面上的触控位置；

确定所述触控位置在所述目标元素中所对应的元素；

播报所述触控位置所对应的元素在所述目标读屏信息中所对应的读屏信息。

7.一种显示画面中元素的播报方法，其特征在于，包括：

获取为目标应用的当前显示画面中的目标元素创建的目标读屏信息，其中，所述当前显示画面中的显示内容被设置为不允许被所述目标应用所在系统的读屏服务识别，所述目标元素为所述目标应用根据所述当前显示画面中的显示内容创建的元素；

将具有对应关系的所述目标元素和所述目标读屏信息发送至所述系统，其中，所述目标读屏信息为所述目标应用创建的、允许所述系统的读屏服务识别所述目标元素的信息，所述目标读屏信息用于指示所述系统的读屏服务识别所述目标元素，并根据所述目标读屏信息播报所述目标元素。

8.根据权利要求7所述的方法，其特征在于，在获取为所述目标应用的所述当前显示画面中的元素创建的所述读屏信息之前，所述方法还包括：

在绘制所述目标应用所包括的显示画面中每个显示画面的过程中，根据所述每个显示画面中的显示内容创建所述每个显示画面中的元素，并检测所述每个显示画面中的元素的位置信息，其中，所述位置信息用于指示所述每个显示画面中的元素在所述每个显示画面中的位置；

生成所述每个显示画面中的元素的描述信息，其中，所述描述信息用于对所述每个显示画面中的元素进行语音播报；

建立所述每个显示画面中的元素与所述每个显示画面中的元素的读屏信息之间的对应关系，其中，所述每个显示画面中的元素的读屏信息包括所述位置信息和所述描述信息。

9.根据权利要求8所述的方法，其特征在于，获取为所述目标应用的所述当前显示画面中的所述目标元素创建的所述目标读屏信息包括：

从具有对应关系的所述每个显示画面中的元素与所述每个显示画面中的元素的读屏信息中获取所述当前显示画面中的所述目标元素所对应的所述读屏信息作为所述目标读屏信息。

10.一种显示画面中元素的播报装置，其特征在于，包括：

第一获取模块，用于在确定对目标应用的当前显示画面执行了目标操作的情况下，响应所述目标操作，获取为所述当前显示画面创建的具有对应关系的目标元素和目标读屏信息，其中，所述目标操作用于请求所述目标应用所在的系统为所述当前显示画面中的显示内容提供读屏服务，所述显示内容为不允许被所述读屏服务识别的内容，所述目标元素为所述目标应用根据所述当前显示画面中的显示内容创建的元素，所述目标读屏信息为所述目标应用创建的、允许所述系统的读屏服务识别所述目标元素的信息；

播报模块，用于根据检测到的对所述当前显示画面执行的触控操作和所述目标读屏信息播报所述目标元素。

11.一种显示画面中元素的播报装置，其特征在于，包括：

第二获取模块，用于获取为目标应用的当前显示画面中的目标元素创建的目标读屏信息，其中，所述当前显示画面中的显示内容被设置为不允许被所述目标应用所在系统的读屏服务识别，所述目标元素为所述目标应用根据所述当前显示画面中的显示内容创建的元素；

发送单元，用于将具有对应关系的所述目标元素和所述目标读屏信息发送至所述系统，其中，所述目标读屏信息为所述目标应用创建的、允许所述系统的读屏服务识别所述目标元素的信息，所述目标读屏信息用于指示所述系统的读屏服务识别所述目标元素，并根据所述目标读屏信息播报所述目标元素。

12.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至9任一项中所述的方法。

13.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至9任一项中所述的方法。

Images