CN114356747A

CN114356747A - 显示内容的测试方法、装置、设备、存储介质及程序产品

Info

Publication number: CN114356747A
Application number: CN202111412084.6A
Authority: CN
Inventors: 江佳; 杨昕
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2021-11-25
Filing date: 2021-11-25
Publication date: 2022-04-15

Abstract

本申请公开了一种显示内容的测试方法、装置、设备、存储介质及程序产品，涉及计算机技术领域。该方法包括：获取目标界面的界面内容；获取目标界面在基础显示模式下的第一界面图像；获取目标界面在无障碍显示模式下的第二界面图像；对第一界面图像进行内容识别，得到第一识别内容；以及，对第二界面图像进行内容识别，得到第二识别内容；基于界面内容、第一识别内容和第二识别内容，确定无障碍测试结果。通过将后台获取的界面内容，与基础显示模式下的显示结果，以及无障碍显示模式下的显示结果进行比对，从而确定无障碍显示模式下所显示的内容与应当显示的内容之间的差异，能够直观的体现出无障碍模式下所显示的内容的信息传递效果。

Description

显示内容的测试方法、装置、设备、存储介质及程序产品

技术领域

本申请实施例涉及计算机技术领域，特别涉及一种显示内容的测试方法、装置、设备、存储介质及程序产品。

背景技术

信息无障碍是指让任何人在任何情况下都能平等，方便，无障碍的获取并利用信息，其中，针对视觉障碍人群，如：视力模糊、朦胧、高度远视或近视、色盲和管状视人群，在看计算机屏幕上的文字或图像时存在一定困难，故，需要根据要求提供无障碍功能，即，扩大界面内容的显示尺寸，如，放大文字显示。

相关技术中，在无障碍功能的测试过程中，主要是针对在无障碍功能开启后，文字的显示尺寸、显示颜色、显示对比度等与标准要求进行匹配，从而判断无障碍功能是否符合测试要求。

然而，相关技术中对无障碍功能测试较为片面，无法贴合用户的使用过程对无障碍功能的效果进行准确测试，测试准确率较低。

发明内容

本申请实施例提供了一种显示内容的测试方法、装置、设备、存储介质及程序产品，能够提高对无障碍模式的测试准确率。所述技术方案如下。

一方面，提供了一种显示内容的测试方法，所述方法包括：

获取目标界面的界面内容，所述界面内容为被配置显示于所述目标界面中的内容；

获取所述目标界面在基础显示模式下的第一界面图像，所述第一界面图像用于表现所述目标界面在所述基础显示模式下的显示内容；

获取所述目标界面在无障碍显示模式下的第二界面图像，所述第二界面图像用于表现所述目标界面在所述无障碍显示模式下的显示内容；

对所述第一界面图像进行内容识别，得到第一识别内容；以及，对所述第二界面图像进行内容识别，得到第二识别内容；

基于所述界面内容、所述第一识别内容和所述第二识别内容，确定所述目标界面的无障碍测试结果。

另一方面，提供了一种显示内容的测试装置，所述装置包括：

获取模块，用于获取目标界面的界面内容，所述界面内容为被配置显示于所述目标界面中的内容；获取所述目标界面在基础显示模式下的第一界面图像，所述第一界面图像用于表现所述目标界面在所述基础显示模式下的显示内容；获取所述目标界面在无障碍显示模式下的第二界面图像，所述第二界面图像用于表现所述目标界面在所述无障碍显示模式下的显示内容；

识别模块，用于对所述第一界面图像进行内容识别，得到第一识别内容；以及，对所述第二界面图像进行内容识别，得到第二识别内容；

确定模块，用于基于所述界面内容、所述第一识别内容和所述第二识别内容，确定所述目标界面的无障碍测试结果。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述显示内容的测试方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的显示内容的测试方法。

另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的显示内容的测试方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

通过将目标界面本身配置时后台获取的界面内容，与基础显示模式下的显示结果，以及无障碍显示模式下的显示结果进行比对，从而确定无障碍显示模式下所显示的内容与应当显示的内容之间的差异，从而得到无障碍测试结果，确定无障碍模式下的显示效果，提高了无障碍模式的测试准确率以及有效性，能够直观的体现出无障碍模式下所显示的内容的信息传递效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个示例性实施例提供的显示内容的测试方法的整体流程示意图；

图2是本申请一个示例性实施例提供的实施环境示意图；

图3是本申请一个示例性实施例提供的显示内容的测试方法的流程图；

图4是基于图3示出的实施例提供的第一界面图像和第二界面图像的获取方式示意图；

图5是基于图3示出的实施例提供的puppeteer访问测试网址的示意图；

图6是本申请另一个示例性实施例提供的显示内容的测试方法的流程图；

图7是基于图6示出的实施例提供的控件显示效果示意图；

图8是基于图6示出的实施例提供的生成无障碍测试报告的过程示意图；

图9是本申请另一个示例性实施例提供的显示内容的测试方法的流程图；

图10是基于图9示出的实施例提供的文字处理过程示意图；

图11是本申请一个示例性实施例提供的无障碍测试结果的界面示意图；

图12是本申请一个示例性实施例提供的显示内容的测试装置的结构框图；

图13是本申请另一个示例性实施例提供的显示内容的测试装置的结构框图；

图14是本申请一个示例性实施例提供的计算机设备的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

信息无障碍是指让任何人在任何情况下都能平等，方便，无障碍的获取并利用信息，其中，针对视觉障碍人群，如：视力模糊、朦胧、高度远视或近视、色盲和管状视人群，在看计算机屏幕上的文字或图像时存在一定困难，故，需要根据要求提供无障碍功能，即，扩大界面内容的显示尺寸，如，放大文字显示、设置显示高对比度、屏幕阅读器等。

而正是由于网页或者界面中需要放大一些元素进行显示，故，容易产生显示不完整、显示失真或者显示失败的问题，如：在网页中放大显示控件中的“确认信息”时，由于控件本身放大的倍数不够，无法容纳放大后的文字完整显示，故在无障碍功能下，控件中显示为“确认信”，从而导致控件中的内容不准确，影响控件表达的问题。基于这一问题，故需要针对不同网页或者界面的无障碍功能进行测试，避免或者减少无障碍功能下的信息传递错误。

相关技术中，在进行无障碍功能测试时主要是针对在无障碍功能开启后，文字的显示尺寸、显示颜色、显示对比度等与标准要求进行匹配，从而判断无障碍功能是否符合测试要求，而该测试方式对无障碍功能测试较为片面，无法贴合用户的使用过程对无障碍功能的效果进行准确测试，也即，无法准确地获知该显示尺寸下的文字或者图像是否能够完整的显示在界面中，测试准确率较低。

本申请实施例提供的一种显示内容的测试方法，图1是本申请一个示例性实施例提供的显示内容的测试方法的整体流程示意图，如图1所示，该过程中首先获取被测网址100，该被测网址100为用户输入或者自动获取的网址。

一方面，获取该被测网址100中的网页内容110，其中，网页内容110为网页设计过程中在网页中配置的需要显示的内容，如：被测网址100中需要显示的文本内容。

另一方面，针对被测网址100在普通显示模式下的显示内容进行截图，得到第一截图120；以及针对被测网址100在无障碍模式下的显示内容进行截图，得到第二截图130。

对第一截图120和第二截图130进行光学字符识别(Optical CharacterRecognition，OCR)，得到第一截图120的第一识别结果121和第二截图130的第二识别结果131。

将网页内容110与第一识别结果121和第二识别结果131进行匹配，从而输出无障碍测试结果140。该无障碍测试结果140用于指示无障碍模式下的显示准确度。

本申请实施例可以应用于终端中，也可以应用于服务器中，还可以应用于终端和服务器的交互场景中，当该无障碍测试过程应用于终端中时，则由终端直接获取网页内容，并根据网页在普通显示模式和无障碍显示模式(下文可简称为无障碍模式)下的截图对该网页进行无障碍测试。本申请实施例中，以该无障碍测试过程应用于终端和服务器的交互场景中为例进行说明。

对本申请实施例中涉及的实施环境进行说明，示意性的，请参考图2，该实施环境中涉及终端210、服务器220，终端210和服务器220之间通过通信网络230连接。

在一些实施例中，终端210为能够对网页进行浏览的终端，或者，终端210为安装有目标应用程序的终端，该目标应用程序能够实现为任意类型的程序，如：即时通讯应用程序、购物类应用程序、金融理财类应用程序、多媒体播放程序等，本实施例对此不加以限定。本实施例中，以终端210对网页进行无障碍测试为例进行说明。则终端210在测试平台中输入被测网页的网址，并向服务器220发送测试请求，测试请求中包括该被测网页的网址，服务器220用于根据测试请求对被测网页进行无障碍测试。值得注意的是，当终端210对目标应用程序中的显示界面进行无障碍测试时，可以将目标应用程序的程序名以及对应的功能模块名发送至服务器220，由服务器220进行测试。

服务器220在接收到终端210上报的测试请求后，从测试请求中获取被测网页的网址，并对该测试网址的网页内容进行获取。同时，对被测网页进行模拟运行，对普通显示模式和无障碍显示模式下的被测网页分别进行截图，并对截图结果进行OCR识别，从而能够根据OCR识别结果和网页内容生成无障碍测试报告，得到该被测网页对应的无障碍测试结果。在一些实施例中，无障碍测试结果以无障碍测试得分进行表示。

上述终端可以是手机、平板电脑、台式电脑、便携式笔记本电脑、智能电视、智能家居设备、车载终端等多种形式的终端设备，本申请实施例对此不加以限定。

值得注意的是，上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

其中，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

在一些实施例中，上述服务器还可以实现为区块链系统中的节点。区块链(Blockchain)是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

结合上述介绍，对本申请提供的显示内容的测试方法进行说明，该方法可以由服务器或者终端执行，也可以由服务器和终端共同执行，本申请实施例中，以该方法由服务器执行为例进行说明，如图3所示，该方法包括如下步骤。

步骤301，获取目标界面的界面内容。

该界面内容为被配置显示于目标界面中的内容。可选地，以网页为例，则获取目标网页的网页内容。

该界面内容为在网页设计过程中，配置显示在目标界面中的内容，其中，该界面内容可以是配置过程中直接设置显示的固定内容，如：控件内容、导航栏内容、图标内容等，或者该界面内容也可以是根据配置过程设置的获取路径获取后显示的动态变化内容，如：从数据库A获取的实时内容、日期显示内容等。在一些实施例中，在获取被测网址后，通过正则方式对网址进行合法性校验，合法性校验用于对网址的运行合法性以及运行逻辑进行校验。

在一些实施例中，通过爬取的方式获取该目标界面的界面内容。可以理解的是，在本申请的具体实施方式中，涉及到界面内容、界面图像等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

可选地，获取目标界面的界面内容时，包括如下界面内容中的至少一种：文本内容(也即字符内容)、图像内容、音频内容、结构内容等。

其中，文本内容是指在目标界面中显示的字符内容，如：中文文字、英文字符等，其中包括预先设置好的静态显示内容，以及包括实时获取的动态显示内容。

图像内容是指在目标界面中显示的静态/动态图像，其中包括预先设置好的静态显示图像，如：背景图像、在预设位置显示的图像等，以及包括实时获取的动态显示图像，如：网页中显示的用户头像。

音频内容是指在目标界面的显示过程中播放的音频内容，其中包括预先设置好的音频，如：背景音乐，以及包括实时获取的动态音频，如：接收到的语音消息播放音频。

结构内容是指在目标界面中显示各部分内容时的排版结构，如：目标界面中以feed流形式或者瀑布流形式显示社交内容，或者，目标界面中分为左右两个部分，分别用于显示功能区域a和功能区域b。

值得注意的是，上述界面内容仅为示意性的举例，本申请实施例对界面内容的内容形式不加以限定。

步骤302，获取目标界面在基础显示模式下的第一界面图像。

第一界面图像用于表现目标界面在基础显示模式下的显示内容。

其中，基础显示模式是指目标界面根据终端显示屏尺寸以及分辨率自动适配的显示模式，其中，基础显示模式下的目标界面中的界面显示内容处于基础的适中尺寸。可选地，基础显示模式为目标界面在开发过程中对各显示元素设计的基础显示大小对应的模式，也即，在基础显示模式下，目标界面中的显示元素显示为尺寸互相搭配，均匀分布在目标界面中的元素。

可选地，运行在基础显示模式下的目标界面；对目标界面在基础显示模式下的运行结果进行截图，得到第一界面图像。也即，第一界面图像为目标界面在基础显示模式下显示时的截图。

在一些实施例中，以目标界面实现为网页界面为例，则获取第一界面图像的方式包括如下方式中的至少一种：

第一，通过无头浏览器软件开发工具包(Software Development Kit，SDK)puppeteer启动浏览器，并输入被测网页的网址进行访问，对访问的被测网页的浏览界面进行截图并保存，作为第一界面图像；

第二，通过群控进行采集，其中，群控是指用一台设备控制多台设备，实现多台设备的同时同步操作，如：采用一台电脑控制上百部手机，实现上百部手机的同时同步操作。其中，群控分为线控和云控，以云群控为例，则通过云服务器将控制指令发送至多台设备进行同时同步控制操作。通过群控控制终端运行浏览器对被测网址进行访问，并对访问网页的浏览界面进行截图保存，作为第一界面图像，其中，由于群控过程中会控制多台终端访问被测网址，该多台终端为不同型号的终端；或者，该多台终端为不同品牌的终端；或者，该多台终端为具有不同屏幕尺寸/形状的终端，本实施例对此不加以限定。控制多台终端分别对被测网址进行访问，并得到各终端分别对应的第一界面图像。

值得注意的是，上述获取第一界面图像的方式仅为示意性的举例，本实施例对此不加以限定。

步骤303，获取目标界面在无障碍显示模式下的第二界面图像。

第二界面图像用于表现目标界面在无障碍显示模式下的显示内容。

其中，无障碍显示模式是指目标界面在自动适配显示尺寸的基础上，对显示元素进行一定程度放大或者强化的显示模式，其中，无障碍显示模式下的目标界面中的界面显示内容大于基础的适中尺寸，如：控件整体尺寸大于基础尺寸、控件中的文本字符字号大于默认的适中字号。在一些实施例中，无障碍显示模式为预先设定的，对界面显示元素预先设置放大倍数，并在通过无障碍显示模式显示目标界面时，以预设的放大倍数对界面元素进行放大显示的模式。

可选地，运行在无障碍显示模式下的目标界面；对目标界面在无障碍显示模式下的运行结果进行截图，得到第二界面图像。也即，第二界面图像为目标界面在无障碍显示模式下显示时的截图。

在一些实施例中，以目标界面实现为网页界面为例，则获取第二界面图像的方式包括如下方式中的至少一种：

第一，通过无头浏览器SDK(puppeteer)启动浏览器，并输入被测网页的网址进行访问，在访问的被测网页时，根据无障碍显示模式设置字体字号、行高以及元素尺寸进行放大显示，并截图并保存，作为第二界面图像；

第二，通过群控进行采集。通过群控控制终端运行浏览器对被测网址进行访问，在访问网页的过程中，针对放大显示后的浏览界面进行截图保存，作为第二界面图像，其中，由于群控过程中会控制多台终端访问被测网址，该多台终端为不同型号的终端；或者，该多台终端为不同品牌的终端；或者，该多台终端为具有不同屏幕尺寸/形状的终端，本实施例对此不加以限定。控制多台终端分别对被测网址进行访问，并根据放大显示的结果得到各终端分别对应的第二界面图像。其中，放大显示包括：1、直接对网页整体放大显示；2、对网页中的字体字号放大显示。

值得注意的是，上述获取第二界面图像的方式仅为示意性的举例，本实施例对此不加以限定。

示意性的，如图4所示，第一界面图像和第二界面图像的获取方式如图4所示，首先输入被测网址400后，在采集数据阶段，包括如下两种情况中的至少一种：

1、puppeteer无头浏览器采集410

在通过puppeteer无头浏览器采集时，首先，打开浏览器并访问被测网址；对访问结果截图(第一界面图像)并保存；其次，设置字体字号、显示元素和行高放大，在一些实施例中，无障碍显示模式中还需要将网页显示的对比度提高；访问网页并截图(第二界面图像)并保存。

可选地，通过无头浏览器采集时，通过无头浏览器模拟不同型号不同品牌终端运行浏览器的效果，并分别进行访问结果和放大结果的截图。

示意性的，如图5所示，控制puppeteer访问测试网址的移动端网页，显示界面500，在界面500中显示有控制puppeteer模拟指定型号的终端访问测试网址的网页效果图。可选地，遍历网页dom节点中的元素属性，控制字体字号和行高，使其放大1.5倍到2倍，得到效果图510。

2、群控采集420

在通过群控采集时，首先打开浏览器并访问被测网址；对访问结果截图(第一界面图像)并保存；其次，设置显示放大，即设置网页整体放大一定倍数进行显示，访问网页并截图(第二界面图像)保存；另外，设置字体放大，访问网页并截图(第二界面图像)保存。

其中，针对群控采集420中的两种不同放大方式对应的第二界面图像，分别进行后续的分析，或者，择一进行后续的分析。

值得注意的是，上述puppeteer无头浏览器采集410和群控采集420可以择一应用，也可以同时应用，当puppeteer无头浏览器采集410和群控采集420同时应用时，对同时应用分别得到的结果进行融合，从而得到最终的测试结果。

步骤304，对第一界面图像进行内容识别，得到第一识别内容。

其中，第一识别内容为从第一界面图像中提取得到的内容；或者，第一识别内容为对第一界面图像进行图像识别得到的内容。示意性的，本申请实施例中，以对界面中显示的文字进行测试为例，则第一识别内容为对第一界面图像进行文本识别得到的内容。

即，界面内容中包括目标界面中的目标文本内容，对第一界面图像进行文本识别，得到第一界面图像中的第一文本内容作为第一识别内容。

步骤305，对第二界面图像进行内容识别，得到第二识别内容。

其中，第二识别内容为从第二界面图像中提取得到的内容；或者，第二识别内容为对第二界面图像进行图像识别得到的内容。示意性的，本申请实施例中，以对界面中显示的文字进行测试为例，则第二识别内容为对第二界面图像进行文本识别得到的内容。

即，对第二界面图像进行文本识别，得到第二界面图像中的第二文本内容作为第二识别内容。

步骤306，基于界面内容、第一识别内容和第二识别内容，确定目标界面的无障碍测试结果。

其中，根据第一识别内容、第二识别内容以及界面内容的内容类型不同，确定无障碍测试结果的方式包括如下情况中的至少一种：

第一，界面内容中包括目标文本内容

则，将第一文本内容与目标文本内容进行匹配，得到第一匹配结果；将第二文本内容与目标文本内容进行匹配，得到第二匹配结果；基于第一匹配结果和第二匹配结果之间的差异幅度，得到目标界面的无障碍测试结果。

第二，界面内容中包括目标图像内容

则将第一界面图像中裁剪得到的第一图像内容与目标图像内容进行匹配，得到第一图像匹配结果，将第二界面图像中裁剪得到的第二图像内容与目标图像内容进行匹配，得到第二图像匹配结果，基于第一图像匹配结果和第二图像匹配结果之间的差异幅度，得到目标界面的无障碍测试结果。

第三，界面内容中包括结构内容

则对第一界面图像进行结构识别，得到第一结构数据，以及对第二界面图像进行结构识别，得到第二结构数据，其中，通过预先训练得到的神经网络模型对第一界面图像和第二界面图像进行结构识别。将结构内容与第一结构数据进行匹配，得到第一结构匹配结果，将结构内容与第二结构数据进行匹配，得到第二结构匹配结果，基于第一结构匹配结果和第二结构匹配结果之间的差异幅度，得到目标界面的无障碍测试结果。

值得注意的是，上述无障碍测试结果的获取方式仅为示意性的举例，本实施例对此不加以限定。

综上所述，本实施例提供的显示内容的测试方法，通过将目标界面本身配置时后台获取的界面内容，与基础显示模式下的显示结果，以及无障碍显示模式下的显示结果进行比对，从而确定无障碍显示模式下所显示的内容与应当显示的内容之间的差异，从而得到无障碍测试结果，确定无障碍模式下的显示效果，提高了无障碍模式的测试准确率以及有效性，能够直观的体现出无障碍模式下所显示的内容的信息传递效果。

在一个可选的实施例中，以通过目标界面中的目标文本内容进行无障碍测试为例进行说明。图6是本申请另一个示例性实施例提供的显示内容的测试方法流程图，该方法可以由服务器或者终端执行，也可以由服务器和终端共同执行，本申请实施例中，以该方法由服务器执行为例进行说明，如图6所示，该方法包括如下步骤。

步骤601，获取目标界面的界面内容。

该界面内容为被配置显示于目标界面中的内容。可选地，以网页为例，则该界面内容为在网页设计过程中，配置显示在目标界面中的内容，其中，该界面内容可以是配置过程中直接设置显示的固定内容，或者该界面内容也可以是根据配置过程设置的获取路径获取后显示的动态变化内容。

步骤602，获取目标界面在基础显示模式下的第一界面图像。

其中，基础显示模式是指目标界面根据终端显示屏尺寸以及分辨率自动适配的显示模式，其中，基础显示模式下的目标界面中的界面显示内容处于基础的适中尺寸。

步骤603，获取目标界面在无障碍显示模式下的第二界面图像。

其中，无障碍显示模式是指目标界面在自动适配显示尺寸的基础上，对显示元素进行一定程度放大或者强化的显示模式，其中，无障碍显示模式下的目标界面中的界面显示内容大于基础的适中尺寸，如：控件整体尺寸大于基础尺寸、控件中的文本字符字号大于默认的适中字号。

步骤604，对第一界面图像进行文本识别，得到第一界面图像中第一文本内容作为第一识别内容，以及得到第一文本内容中各第一字符对应的第一置信度。

在一些实施例中，对第一界面图像进行OCR识别，得到第一文本内容以及第一文本内容中各个第一字符对应的第一置信度。可选地，通过预先训练的神经网络模型对第一界面图像进行OCR识别，或者，通过预先设置的文本识别接口调用文本识别功能对第一界面图像进行OCR识别。

在一些实施例中，通过多种OCR识别方法分别对第一界面图像进行OCR识别后，得到第一字符在各OCR识别中的置信度，通过置信度加权平均，最终得到第一字符的第一置信度。

示意性的，对第一界面图像进行OCR识别后，得到识别结果包括“我：100”、“要：100”、“发：100”、“言：82”，其中，“我”、“要”和“发”的置信度为100，“言”的置信度为82。

其中，置信度为机器学习模型进行识别后输出的针对输出结果的准确度预测数据。

在一些实施例中，过滤第一文本内容中第一置信度低于第一阈值的第一字符。

也即经过OCR识别后，通过过滤阶段进行过滤，即在界面内容中提取文字，把OCR识别到的第一字符与提取的文字进行对比，过滤第一字符中低置信度的文字，避免噪音。该阶段主要是为了避免一些在OCR识别的噪音，一些低置信度识别出来的文字。

步骤605，对第二界面图像进行文本识别，得到第二界面图像中第二文本内容作为第二识别内容，以及得到第二文本内容中各第二字符对应的第二置信度。

在一些实施例中，对第二界面图像进行OCR识别，得到第二文本内容以及第二文本内容中各个第二字符对应的第二置信度。可选地，通过预先训练的神经网络模型对第二界面图像进行OCR识别，或者，通过预先设置的文本识别接口调用文本识别功能对第二界面图像进行OCR识别。

在一些实施例中，通过多种OCR识别方法分别对第二界面图像进行OCR识别后，得到第二字符在各OCR识别中的置信度，通过置信度加权平均，最终得到第二字符的第二置信度。

在一些实施例中，过滤第二文本内容中第二置信度低于第二阈值的第二字符。

也即经过OCR识别后，通过过滤阶段进行过滤，即在界面内容中提取文字，把OCR识别到的第二字符与提取的文字进行对比，过滤第二字符中低置信度的文字，避免噪音。该阶段主要是为了避免一些在OCR识别的噪音，一些低置信度识别出来的文字。

步骤606，将第一文本内容与目标文本内容进行匹配，得到第一匹配结果。

可选地，将第一文本内容与目标文本内容中的字符进行对齐匹配，获取第一文本内容中与目标文本内容中的目标字符对应的第一字符，其中，第一字符还对应有第一置信度。可选地，根据对齐匹配结果，确定第一字符与目标字符的第一匹配度。

步骤607，将第二文本内容与目标文本内容进行匹配，得到第二匹配结果。

可选地，将第二文本内容与目标文本内容中的字符进行对齐匹配，获取第二文本内容中与目标文本内容中的目标字符对应的第二字符，其中，第二字符还对应有第二置信度。可选地，根据对齐匹配结果，确定第二字符与目标字符的第二匹配度。

步骤608，基于第一匹配结果和第二匹配结果之间的差异幅度，得到目标界面的无障碍测试结果。

可选地，基于第一字符与目标字符的第一匹配度，以及第二字符与目标字符的第二匹配度，确定目标字符对应的字符测试结果；基于目标文本内容中各字符的字符测试结果，确定目标界面的无障碍测试结果。

在一些实施例中，将第一字符的第一置信度确定为第一字符与目标字符的第一匹配度，将第二字符的第二置信度确定为第二字符与目标字符的第二匹配度，则基于第一置信度和第二置信度确定目标字符对应的字符测试结果。

示意性的，如下表一所示：

表一

其中，字符“点”的第一置信度为100，第二置信度为100，即第一置信度和第二置信度之间的差异为0；字符“击”的第一置信度为100，第二置信度为100，即第一置信度和第二置信度之间的差异为0；字符“并”的第一置信度为100，第二置信度为100，即第一置信度和第二置信度之间的差异为0；字符“进”的第一置信度为100，第二置信度为0，即第一置信度和第二置信度之间的差异为100；字符“入”的第一置信度为100，第二置信度为0，即第一置信度和第二置信度之间的差异为100。

即表示在基础显示模式中完整的显示了“点击并进入”，而在无障碍显示模式中并未识别到“进入”，也即，无障碍显示模式中仅显示“点击并”。

示意性的，如图7所示，基础显示模式下显示为控件710，而在无障碍显示模式下显示为控件720，控件710中完整显示有“点击并进入”，而控件720中显示有“点击并”。

示意性的，如图8所示，该过程包括原始网页内容810、基础模式截图820和无障碍模式截图830三个阶段。

其中，基础模式截图820和无障碍模式截图830后，对截取的图像进行OCR识别840，并得到截图中的文字和置信度850。将原始网页内容810与文字和置信度850进行对比分析，生成无障碍测试报告860。

本实施例提供的方法，以目标界面中的目标文本内容为基准，对基础显示模式下显示的第一文本内容，和无障碍显示模式下显示的第二文本内容进行比对，判断文本在基础显示模式和无障碍显示模式下的波动情况，从而确定无障碍显示模式的显示准确率，提高了无障碍显示模式的测试准确率。

本实施例提供的方法，在对第一界面图像和第二界面图像进行OCR识别后，首先对置信度低的字符进行过滤，避免置信度低的文字对无障碍测试的评判产生干扰，降低噪音。

本实施例提供的方法，将第一文本内容和第二文本内容与目标文本内容中的字符进行个对齐匹配，从而根据对齐匹配结果确定各个目标字符对应在第一文本内容和第二文本内容中的波动情况，提高了无障碍显示模式的测试效率。

在一个可选地实施例中，根据第一置信度和第二置信度之间的波动，确定无障碍测试结果。图9是本申请另一个示例性实施例提供的显示内容的测试方法流程图，该方法可以由服务器或者终端执行，也可以由服务器和终端共同执行，本申请实施例中，以该方法由服务器执行为例进行说明，如图9所示，该方法包括如下步骤。

步骤901，获取目标界面的界面内容。

该界面内容为被配置显示于目标界面中的内容。

可选地，获取目标界面的界面元素树，界面元素树中包括树节点，遍历界面元素树中的树节点，从树节点中获取目标界面的界面内容。

步骤902，获取目标界面在基础显示模式下的第一界面图像。

步骤903，获取目标界面在无障碍显示模式下的第二界面图像。

步骤904，对第一界面图像进行文本识别，得到第一界面图像中第一文本内容作为第一识别内容，以及得到第一文本内容中各第一字符对应的第一置信度。

在一些实施例中，对第一界面图像进行OCR识别，得到第一文本内容以及第一文本内容中各个第一字符对应的第一置信度。

步骤905，对第二界面图像进行文本识别，得到第二界面图像中第二文本内容作为第二识别内容，以及得到第二文本内容中各第二字符对应的第二置信度。

在一些实施例中，对第二界面图像进行OCR识别，得到第二文本内容以及第二文本内容中各个第二字符对应的第二置信度。

步骤906，获取第一文本内容中与目标文本内容中的目标字符对应的第一字符，确定第一字符与目标字符的第一匹配度。

可选地，将第一字符的第一置信度，确定为第一字符与目标字符的第一匹配度。

步骤907，获取第二文本内容中与目标文本内容中的目标字符对应的第二字符，确定第二字符与目标字符的第二匹配度。

可选地，将第二字符的第二置信度，确定为第二字符与目标字符的第二匹配度。

步骤908，基于第一字符与目标字符的第一匹配度，以及第二字符与目标字符的第二匹配度，确定目标字符对应的字符测试结果。

在一些实施例中，基于第一匹配度和第二匹配度之差，确定目标字符对应的字符分值作为字符测试结果。

可选地，基于第一置信度和第二置信度确定该目标字符对应的字符测试结果。可选地，将第一置信度与第二置信度之差，确定为目标字符对应的字符测试结果，也即字符在不同显示模式下的波动。

步骤909，基于目标文本内容中各字符的字符测试结果，确定目标界面的无障碍测试结果。

基于分值阈值对各字符的字符分值进行融合，得到目标界面对应的无障碍测试分值作为无障碍测试结果。

可选地，确定目标文本内容中个字符对应的显示权重；基于显示权重和分值阈值对各字符的字符分值进行加权融合，得到目标界面对应的无障碍测试分值作为无障碍测试结果。

示意性的，无障碍测试分值的计算方式如下公式一所示：

公式一：

其中，W表示无障碍测试分值，k表示字符总数，m表示置信度波动，也即第一置信度和第二置信度之差，n表示分值阈值，也即置信度差值阈值。示意性的，n取值为30。

示意性的，如图10所示，针对原始网页内容1000，遍历该原始网页内容1000的dom节点，并从dom节点获取文字内容1010。获取OCR识别得到的文字和置信度1020，首先基于文字内容1010，对文字和置信度1020中置信度较低的文字进行过滤，得到过滤后的文字和置信度1030，对过滤后的文字和置信度1030进行对比分析，确定在基础显示模式和无障碍显示模式之间发生较大波动的文字，并生成无障碍测试报告。

本实施例提供的方法，模拟视觉障碍人群与老龄化群体使用移动端网页应用的行为，通过视觉识别手段，前后对比分析来判断无障碍化效果，具有更加实际的意义，输出的报告能够实际帮助改善视觉障碍人群与老龄化群体使用移动端产品的体验。

示意性的，图11是本申请一个示例性实施例提供的无障碍测试结果的界面示意图，如图11所示，在测试结果界面1100中包括无障碍测试分值1110以及问题实例展示区域1120，问题实例展示区域1120中包括在普通显示模式和无障碍显示模式下分别对应的字符匹配问题。

图12是本申请一个示例性实施例提供的显示内容的测试装置的结构框图，如图12所示，该装置包括：

获取模块1210，用于获取目标界面的界面内容，所述界面内容为被配置显示于所述目标界面中的内容；获取所述目标界面在基础显示模式下的第一界面图像，所述第一界面图像用于表现所述目标界面在所述基础显示模式下的显示内容；获取所述目标界面在无障碍显示模式下的第二界面图像，所述第二界面图像用于表现所述目标界面在所述无障碍显示模式下的显示内容；

识别模块1220，用于对所述第一界面图像进行内容识别，得到第一识别内容；以及，对所述第二界面图像进行内容识别，得到第二识别内容；

确定模块1230，用于基于所述界面内容、所述第一识别内容和所述第二识别内容，确定所述目标界面的无障碍测试结果。

在一个可选的实施例中，所述界面内容中包括所述目标界面中的目标文本内容；

所述识别模块1220，还用于对所述第一界面图像进行文本识别，得到所述第一界面图像中的第一文本内容作为所述第一识别内容；

所述识别模块1220，还用于对所述第二界面图像进行文本识别，得到所述第二界面图像中的第二文本内容作为所述第二识别内容。

在一个可选的实施例中，如图13所示，所述确定模块1230，包括：

匹配单元1231，用于将所述第一文本内容与所述目标文本内容进行匹配，得到第一匹配结果；

所述匹配单元1231，还用于将所述第二文本内容与所述目标文本内容进行匹配，得到第二匹配结果；

确定单元1232，用于基于所述第一匹配结果和所述第二匹配结果之间的差异幅度，得到所述目标界面的无障碍测试结果。

在一个可选的实施例中，所述识别模块1220，还用于对所述第一界面图像进行文本识别，得到所述第一文本内容中各第一字符对应的第一置信度；对所述第二界面图像进行文本识别，得到所述第二文本内容中各第二字符对应的第二置信度；

所述装置，还包括：

过滤模块1240，用于过滤所述第一文本内容中第一置信度低于第一阈值的第一字符；过滤所述第二文本内容中第二置信度低于第二阈值的第二字符。

在一个可选的实施例中，所述获取模块1210，还用于获取所述第一文本内容中与所述目标文本内容中的目标字符对应的第一字符；获取所述第二文本内容中与所述目标文本内容中的所述目标字符对应的第二字符；

所述确定单元1232，还用于基于所述第一字符与所述目标字符的第一匹配度，以及所述第二字符与所述目标字符的第二匹配度，确定所述目标字符对应的字符测试结果；基于所述目标文本内容中各字符的字符测试结果，确定所述目标界面的无障碍测试结果。

在一个可选的实施例中，所述确定单元1232，还用于将所述第一字符的第一置信度，确定为所述第一字符与所述目标字符的第一匹配度；将所述第二字符的第二置信度，确定为所述第二字符与所述目标字符的第二匹配度；

所述确定单元1232，还用于基于所述第一置信度和所述第二置信度确定所述目标字符对应的字符测试结果。

在一个可选的实施例中，所述确定单元1232，还用于基于所述第一匹配度和所述第二匹配度之差，确定所述目标字符对应的字符分值作为所述字符测试结果；

所述确定单元1232，还用于基于分值阈值对各字符的字符分值进行融合，得到所述目标界面对应的无障碍测试分值作为所述无障碍测试结果。

在一个可选的实施例中，所述确定单元1232，还用于确定所述目标文本内容中各字符对应的显示权重；基于所述显示权重和所述分值阈值对各字符的字符分值进行加权融合，得到所述目标界面对应的无障碍测试分值作为所述无障碍测试结果。

在一个可选的实施例中，所述获取模块1210，还用于获取所述目标界面的界面元素树，所述界面元素树中包括树节点；遍历所述界面元素树中的树节点，从所述树节点中获取所述目标界面的所述界面内容。

在一个可选的实施例中，所述获取模块1210，还用于运行在所述基础显示模式下的所述目标界面；对所述目标界面在所述基础显示模式下的运行结果进行截图，得到所述第一界面图像；

所述获取模块1210，还用于运行在所述无障碍显示模式下的所述目标界面；对所述目标界面在所述无障碍显示模式下的运行结果进行截图，得到所述第二界面图像。

在一个可选的实施例中，所述获取模块1210，还用于获取目标网页的网页内容。

综上所述，本实施例提供的显示内容的测试装置，通过将目标界面本身配置时后台获取的界面内容，与基础显示模式下的显示结果，以及无障碍显示模式下的显示结果进行比对，从而确定无障碍显示模式下所显示的内容与应当显示的内容之间的差异，从而得到无障碍测试结果，确定无障碍模式下的显示效果，提高了无障碍模式的测试准确率以及有效性，能够直观的体现出无障碍模式下所显示的内容的信息传递效果。

需要说明的是：上述实施例提供的显示内容的测试装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的显示内容的测试装置与显示内容的测试方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图14示出了本申请一个示例性实施例提供的计算机设备的结构示意图。该计算机设备可以是如图2所示的终端或者服务器。

具体来讲：计算机设备1400包括中央处理单元(Central Processing Unit，CPU)1401、包括随机存取存储器(Random Access Memory，RAM)1402和只读存储器(Read OnlyMemory，ROM)1403的系统存储器1404，以及连接系统存储器1404和中央处理单元1401的系统总线1405。计算机设备1400还包括用于存储操作系统1413、应用程序1414和其他程序模块1415的大容量存储设备1406。

大容量存储设备1406通过连接到系统总线1405的大容量存储控制器(未示出)连接到中央处理单元1401。大容量存储设备1406及其相关联的计算机可读介质为计算机设备1400提供非易失性存储。也就是说，大容量存储设备1406可以包括诸如硬盘或者紧凑型光盘只读存储器(Compact Disc Read Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。

不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、带电可擦可编程只读存储器(Electrically Erasable Programmable Read Only Memory，EEPROM)、闪存或其他固态存储技术，CD-ROM、数字通用光盘(Digital Versatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1404和大容量存储设备1406可以统称为存储器。

根据本申请的各种实施例，计算机设备1400还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1400可以通过连接在系统总线1405上的网络接口单元1411连接到网络1412，或者说，也可以使用网络接口单元1411来连接到其他类型的网络或远程计算机系统(未示出)。

上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。

本申请的实施例还提供了一种计算机设备，该计算机设备可以实现为如图2所示的终端或者服务器。该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的显示内容的测试方法。

本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现上述各方法实施例提供的显示内容的测试方法。

本申请的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的显示内容的测试方法。

可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM，Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种显示内容的测试方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述界面内容中包括所述目标界面中的目标文本内容；

所述对所述第一界面图像进行内容识别，得到第一识别内容，包括：

对所述第一界面图像进行文本识别，得到所述第一界面图像中的第一文本内容作为所述第一识别内容；

所述对所述第二界面图像进行内容识别，得到第二识别内容，包括：

对所述第二界面图像进行文本识别，得到所述第二界面图像中的第二文本内容作为所述第二识别内容。

3.根据权利要求2所述的方法，其特征在于，所述基于所述界面内容、所述第一识别内容和所述第二识别内容，确定所述目标界面的无障碍测试结果，包括：

将所述第一文本内容与所述目标文本内容进行匹配，得到第一匹配结果；

将所述第二文本内容与所述目标文本内容进行匹配，得到第二匹配结果；

基于所述第一匹配结果和所述第二匹配结果之间的差异幅度，得到所述目标界面的无障碍测试结果。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

对所述第一界面图像进行文本识别，得到所述第一文本内容中各第一字符对应的第一置信度；

对所述第二界面图像进行文本识别，得到所述第二文本内容中各第二字符对应的第二置信度；

所述将所述第一文本内容与所述目标文本内容进行匹配之前，还包括：

过滤所述第一文本内容中第一置信度低于第一阈值的第一字符；

过滤所述第二文本内容中第二置信度低于第二阈值的第二字符。

5.根据权利要求3所述的方法，其特征在于，所述基于所述第一匹配结果和所述第二匹配结果之间的差异幅度，得到所述目标界面的无障碍测试结果，包括：

获取所述第一文本内容中与所述目标文本内容中的目标字符对应的第一字符；

获取所述第二文本内容中与所述目标文本内容中的所述目标字符对应的第二字符；

基于所述第一字符与所述目标字符的第一匹配度，以及所述第二字符与所述目标字符的第二匹配度，确定所述目标字符对应的字符测试结果；

基于所述目标文本内容中各字符的字符测试结果，确定所述目标界面的无障碍测试结果。

6.根据权利要求5所述的方法，其特征在于，所述基于所述第一字符与所述目标字符的第一匹配度，以及所述第二字符与所述目标字符的第二匹配度，确定所述目标字符对应的字符测试结果，包括：

将所述第一字符的第一置信度，确定为所述第一字符与所述目标字符的第一匹配度；

将所述第二字符的第二置信度，确定为所述第二字符与所述目标字符的第二匹配度；

基于所述第一置信度和所述第二置信度确定所述目标字符对应的字符测试结果。

7.根据权利要求5所述的方法，其特征在于，所述基于所述第一字符与所述目标字符的第一匹配度，以及所述第二字符与所述目标字符的第二匹配度，确定所述目标字符对应的字符测试结果，包括：

基于所述第一匹配度和所述第二匹配度之差，确定所述目标字符对应的字符分值作为所述字符测试结果；

所述基于所述目标文本内容中各字符的字符测试结果，确定所述目标界面的无障碍测试结果，包括：

基于分值阈值对各字符的字符分值进行融合，得到所述目标界面对应的无障碍测试分值作为所述无障碍测试结果。

8.根据权利要求7所述的方法，其特征在于，所述基于分值阈值对各字符的字符分值进行融合，得到所述目标界面对应的无障碍测试分值作为所述无障碍测试结果，包括：

确定所述目标文本内容中各字符对应的显示权重；

基于所述显示权重和所述分值阈值对各字符的字符分值进行加权融合，得到所述目标界面对应的无障碍测试分值作为所述无障碍测试结果。

9.根据权利要求1至8任一所述的方法，其特征在于，所述获取目标界面的界面内容，包括：

获取所述目标界面的界面元素树，所述界面元素树中包括树节点；

遍历所述界面元素树中的树节点，从所述树节点中获取所述目标界面的所述界面内容。

10.根据权利要求1至8任一所述的方法，其特征在于，所述获取所述目标界面在基础显示模式下的第一界面图像，包括：

运行在所述基础显示模式下的所述目标界面；对所述目标界面在所述基础显示模式下的运行结果进行截图，得到所述第一界面图像；

所述获取所述目标界面在无障碍显示模式下的第二界面图像，包括：

运行在所述无障碍显示模式下的所述目标界面；对所述目标界面在所述无障碍显示模式下的运行结果进行截图，得到所述第二界面图像。

11.根据权利要求1至8任一所述的方法，其特征在于，所述获取目标界面的界面内容，包括：

获取目标网页的网页内容。

12.一种显示内容的测试装置，其特征在于，所述装置包括：

13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至11任一所述的显示内容的测试方法。

14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至11任一所述的显示内容的测试方法。

15.一种计算机程序产品，其特征在于，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如权利要求1至11任一所述的显示内容的测试方法。