CN115291917B

CN115291917B - 一种针对app中色彩普适性问题的修复方法

Info

Publication number: CN115291917B
Application number: CN202211199765.3A
Authority: CN
Inventors: 陈森; 张玉新
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2022-09-29
Filing date: 2022-09-29
Publication date: 2023-01-06
Anticipated expiration: 2042-09-29
Also published as: CN115291917A

Abstract

本发明公开了一种针对app中色彩普适性问题的修复方法，首先，对多个原始app文件，得到存在色彩普适性问题和不存在色彩普适性问题的组件信息，建立颜色参考数据库；然后，基于建立的颜色参考数据库，通过多种策略计算出当前待修复app的颜色替换的最优值，包括：在当前待修复app本身的图库中查找颜色替换的最优值、在所建立的颜色参考数据库中的其他app图库中查找颜色替换的最优值、以及在问题组件的原颜色色调范围内对原颜色进行加深或变浅，计算出符合对比度要求的颜色值作为颜色替换的最优值；最后，将得到的颜色替换的最优值对问题组件的属性进行替换，输出新的app文件。

Description

一种针对app中色彩普适性问题的修复方法

技术领域

本发明涉及计算机技术领域，具体涉及一种针对app中色彩普适性问题的修复方法。

背景技术

如今，移动设备已成为获取信息和服务的最重要手段之一，移动应用程序也在人们的日常生活中被广泛用于不同的任务、扮演着越来越重要的角色。从电子商务到COVID疫苗护照，访问移动应用程序的能力对每个人都很重要。除了为用户提供的各种功能服务外，如阅读、购物、聊天等，移动应用的普适性问题也越来越受到业界和学术界的重视。移动应用的普适性（mobile accessibility）是指当残疾人使用手机时，他们也能很容易地使用应用程序。除了对残疾人的特殊意义外，如果开发人员设计出一款具有更多可访问功能的移动应用程序，他们将能够触及更多的受众。不幸的是，许多应用程序仍然很难或不可能为特殊人群使用，仍然存在很多普适性问题（accessibility issue）。

近几年学术界和工业界对移动应用的普适性的特征进行了大量的实证研究。结果表明，几乎所有的移动应用都存在普适性问题，例如，普适性问题检测工具Xbot的结果显示平均每个应用存在43个普适性问题，平均每个页面有6.5个问题。除了数量瓶颈之外，问题所属的类型也进一步限制了修复效率。换句话说，即使是投入大量的人力，让移动应用的开发人员逐个修复这些问题也是不现实的。为了解决这类问题，研究人员试图通过利用自动修复方法来解决这些问题，但这种努力还处于起步阶段。

现有对移动应用普适性问题的研究，大概有以下几类：

1，普适性问题的标准制定。普适性被定义为“特殊人群人容易获得、输入或使用的质量”。移动应用的无障碍是指残疾人在使用智能手机和其他移动设备时，使应用程序更容易访问。各种移动应用的普适性标准已经被提出，包括W3C，Web内容可访问性指南(WCAG2.0和2.1)，美国修订的Section 508标准，以及英国的BBC移动可访问性标准和指南。这些标准提出了各种建议，以更好地支持不同类型残疾的个体，包括运动、听觉和视觉障碍。一些公司也根据标准创建了他们的开发者指南列表，如Android开发者辅助指南，苹果开发者辅助指南，以及IBM辅助检查表。尽管现在业界高度鼓励应用开发者在开发应用时遵循这些指导方针，但它们经常被开发人员忽略。

2，普适性问题的检测。提出了一系列静态或动态检测应用程序的普适性问题的工具，如Android Lint， Espresso， Robolectric，Google Accessibility Scanner，MATE，LabelDroid和Xbot等。然而，这些方法仅能实现普适性问题的检测目的，可以为开发人员提供修复参考（如问题类型），但并不能实现问题的自动修复。即使开发人员或设计人员可以定位这些问题，他们可能仍然可能不知道如何进行提升，它需要开发人员对这些工具有良好的认识。

3，普适性问题的自动修复。除了对问题的检测，问题的自动修复也是近年来一个新的研究方向，研究人员试图通过利用自动修复的方法来解决应用中存在的普适性问题，但这种努力还处于起步阶段，现有的研究大多集中在出现比例较高的问题类别，如标签问题和触摸目标的大小等问题。如基于搜索技术并遵循一种由适应度函数指导的遗传算法寻找最小化失真的修复方法，自动修复应用程序中组件大小相关的普适性问题；使用社交注释技术、深度学习算法和众包技术等不同方法来解决项目标签类的问题(即缺少内容标签)，如自动预测按钮的标签等。

4，普适性问题分析。近年来，大量的实证研究也聚焦于研究移动应用普适性的特征。如聚焦于研究移动应用普适性问题的特征，从可访问性问题本身的角度、从应用开发者和用户等角度进行了大规模的实证研究，发现了许多细粒度的结果，如一些常见的标签问题，普适性问题的分类等。

尽管上述方法已实现了对普适性问题的检测和部分问题的修复，但与检测工作相比，修复工作明显滞后，特别是色彩相关的普适性问题，这是移动应用普适性问题类别中最主要的类别之一，对视觉和用户体验产生了极大的负面影响。文献中的许多实证研究都研究了移动应用程序中的普适性问题的普遍性，以及它们如何影响用户的使用。尽管它们提供了对普适性问题研究的有用见解，但它们没有提供解决这些潜在问题的解决方案。现在，许多Android辅助工具通过检测和识别违反指导方针的普适性问题来帮助解决这些问题。然而，这些工作只能定位，而不能修复这些类型的问题。基于颜色的普适性问题是指当文本/图像与背景的颜色对比小于可访问性准则规定的最小比值时，就会出现文本或图像对比度低的问题。有这些问题的应用程序不仅对于弱视力人群和老年人来说很难使用，目前为止，仍然缺乏相应的修复方法来解决基于颜色的可访问性问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种针对app中色彩普适性问题的修复方法。

本发明是通过以下技术方案实现的：

一种针对app中色彩普适性问题的修复方法，包括以下步骤：

步骤1，对多个原始app文件，得到每个app文件中存在色彩普适性问题和不存在色彩普适性问题的组件信息，建立颜色参考数据库；

步骤2，基于已建立的颜色参考数据库，通过多种策略计算出当前待修复app的颜色替换的最优值，包括如下步骤：

步骤2.1，获取当前待修复app中存在色彩普适性问题的问题组件信息；

步骤2.2，从当前待修复app本身的图库中提取所有符合对比度标准的颜色对，在这些颜色对中寻找背景色与问题组件的背景色相同的颜色对，形成颜色对集S1，如果S1不为空，则在S1中选出在问题组件原颜色色调范围内且最接近问题组件原颜色的前景色作为颜色替换的最优值；

步骤2.3，如果无法在当前待修复app本身的图库中找到符合要求的颜色替换的最优值，则继续在所建立的颜色参考数据库中的其他app图库中查找颜色替换的最优值；

步骤2.4，如果无法在所建立的颜色参考数据库中查找到颜色替换的最优值，则在问题组件的原颜色色调范围内对原颜色进行加深或变浅，计算出符合对比度要求的颜色值作为颜色替换的最优值；

步骤3，根据得到的颜色替换的最优值对问题组件的属性进行替换，重新打包已替换的文件，输出新的app文件。

在上述技术方案中，采用自动化可访问性问题检测工具Xbot 确定app的色彩普适性问题检测结果。

在上述技术方案中，所述建立的颜色参考数据库包括两部分内容：一是，每个app的独立数据集，包括存在色彩普适性问题的组件信息和没有色彩普适性问题的组件信息；二是，每个app中的活动页面的数据集。

在上述技术方案中，步骤2.1中，获取的当前待修复app中存在色彩普适性问题的组件信息包括：活动页面的名称信息、组件的id或在活动页面的位置信息、前景色与背景色组成的颜色对信息、以及组件类型信息。

在上述技术方案中，在步骤2.3中，使用模糊匹配的算法在颜色参考数据库中的其他app图库中匹配与问题组件所在activity的名称相近的activity图库作为查找颜色替换的最优值的目标图库；然后从该目标图库内选择与问题组件同一类型的组件从中提取出所有符合对比度标准的颜色对，然后在这些颜色对中选择背景色与问题组件的背景色相同的颜色对，形成颜色对集S2；如果S2不为空，则在颜色对集S2中选出在问题组件原颜色色调范围内且最接近问题组件原颜色的前景色作为颜色替换的最优值。

本发明还可以设计一种计算机可读存储介质，存储有计算机程序，所述计算机程序被执行时实现上述的方法的步骤。

本发明的优点和有益效果为：

（1）本发明基于普适性问题检测工具Xbot确定每个app的普适性问题检测结果，从检测结果中提取存在色彩普适性问题和不存在色彩普适性问题的组件，并建立颜色参考数据库，通过颜色参考数据库可以用于计算待修复app的颜色替换的最优值，并进一步为开发人员和用户生成了一个新的重新包装的app文件。

（2）本发明基于已建立的颜色参考数据库，通过多种策略计算颜色替换的最优值，最大程度的保证修复前后的UI的设计风格的一致性，提高方法的实用性。

（3）本发明提出了一种修复应用程序中色彩相关的普适性问题的方法，能有效修复此类问题，促进应用程序普适性问题的改善。

附图说明

图1是本发明的针对app中色彩普适性问题的修复方法的流程图。

对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据以上附图获得其他的相关附图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合具体实施例进一步说明本发明的技术方案。

一种针对app中色彩普适性问题的修复方法，参见图1，该方法包括以下步骤：

步骤1，建立颜色参考数据库。

对多个原始app文件(apk格式)，采用自动化可访问性问题检测工具Xbot 确定每个app的普适性问题检测结果，从检测结果中得到存在色彩普适性问题和不存在色彩普适性问题的组件信息，从而建立起颜色参考数据库，以作为进一步颜色替换的基础。这样构建的是一个基于多个app组成的数据库而不是仅仅依赖于一个待分析的当前待修复app本身，如果只考虑当前待修复app本身使用的颜色，可能很难找到一个可以应用的替换值。

需要说明的是，所述的自动化可访问性问题检测工具Xbot来自[Chen S, Chen C,Fan L, et al. Accessible or Not An Empirical Investigation of Android AppAccessibility[J]. IEEE Transactions on Software Engineering, 2021.]，用于对Android应用程序进行自动化的普适性测试，并自动收集到一个相对全面的普适性问题数据集。

所述建立的颜色参考数据库主要包括两部分信息：1：每个app的独立数据集，包括存在色彩普适性问题的组件信息和没有色彩普适性问题的组件信息；2：每个app中的活动页面的数据集。

步骤2，基于已建立的颜色参考数据库，通过多种策略计算出当前待修复app的颜色替换的最优值。本步骤设计了三种策略，分别是：

一，使用当前待修复的app的自身颜色进行替换。每个app都有自己独特的风格，如果可以从当前待修复app本身找到可替换的颜色，就可以直接使用该app本身定义的颜色进行替换，这更符合设计者的颜色选择意图。

二，使用颜色参考数据库中的其他不同app中的相似活动页面（activity）的颜色进行替换。由于具有相同目的的活动的UI风格也可能是一致的，如果app自身没有合适的替代颜色，可以在具有类似目的的activity（不同app）中查找替换值。

三，引入新的替换值。为了在提高前景色和背景色之间的对比度的前提下最大程度地保持设计者的用色意图和原本的UI界面设计风格，本发明在原颜色的色调一定范围内对原颜色进行加深或变浅，从而得到一个新的替换值。为此，本方法定义了一个彩虹渐进算法，该算法首先在彩虹色带上定位原颜色所在的坐标位置，然后通过在坐标位置沿彩虹色带的长度方向左右移动来找到符合对比度标准的替换值。在这个过程中，可以通过设置阈值控制在选择替换值时不会超出原颜色的色调范围，例如若原颜色为红色，则替换值也会在红色调的颜色中选择；如果左右两边都超出了原颜色的色调范围，仍然未得到可用的替换值，则选择“黑色”或“白色”作为最终替换值。

具体的讲，本步骤计算当前待修复app的颜色替换的最优值的过程包括如下步骤：

步骤2.1，根据当前待修复app的普适性问题检测结果，从检测结果中获取当前待修复app中存在色彩普适性问题的组件信息，包括activityName（活动页面的名称）、id/bound（组件的id或在活动页面的位置）、colorSet(前景色与背景色组成的颜色对)、及组件类型等信息。

步骤2.2，从当前待修复app本身的图库中提取所有符合对比度标准的颜色对，在这些颜色对中寻找背景色与存在色彩普适性问题的组件（以下简称问题组件）的背景色相同的颜色对，形成颜色对集S1，如果S1不为空，则在颜色对集S1中选出在问题组件原颜色色调范围内且最接近问题组件原颜色的前景色作为颜色替换的最优值。

步骤2.3，如果无法在当前待修复app本身的图库中找到符合要求的颜色替换的最优值（即颜色对集S1为空，或者在颜色对集S1中无法找到在问题组件原颜色色调范围内的前景色），则继续在所建立的颜色参考数据库中的其他app的相似的activity图库中查找可替换的颜色值。由于activity的名字通常象征着该activity的用途，如setting、main等，所以本方法使用模糊匹配的算法在颜色参考数据库的其他app中匹配与问题组件所在activity名称相近的activity图库作为此阶段的查找目标图库，然后从该图库内选择与问题组件同一类型的组件从中提取所有符合对比度标准的颜色对，然后在这些颜色对中选择背景色与问题组件的背景色相同的颜色对，形成颜色对集S2；如果S2不为空，则在颜色对集S2中选出在问题组件原颜色色调范围内且最接近问题组件原颜色的前景色作为颜色替换的最优值。

步骤2.4，如果仍无法在图库中查找到颜色替换的最优值（即颜色对集S2为空，或者在颜色对集S2中无法找到在问题组件原颜色色调范围内的前景色），则使用彩虹渐进算法在问题组件的原颜色色调范围内对原颜色进行加深或变浅，计算出符合对比度要求的颜色替换的最优值。

步骤3，根据得到的颜色替换的最优值对问题组件的属性进行更新，实现对原app的更新和修复，最后重新打包已替换的文件，输出新的app件。

需要修改的问题组件的属性，是基于步骤2.1中获取的存在色彩普适性问题组件的id/bound信息来确定的。由于ID作为唯一编码，具有用来标识事物身份的作用，因此ID直接用于定位；但“bound”属性并不存在于反编译布局文件中，所以在这类问题中，我们选择通过Bound在Layout中找到该组件中的Text信息，通过组件中的android:text（显示文本字符串）属性实现定位功能。

对于Text Contrast的问题（Text Contrast即，文字对比度，指的是文字的颜色（前景色）和文字所在的背景的颜色（背景色）之间的对比度），需要修复的组件类型一般为TextView（文本视图），EditView（编辑视图），Button（按钮），修复过程主要涉及到的属性包括android:textColor（获取或设置文本对的颜色），android:textColorLink（引用别的资源或主题属性），android:titleTextColor（获取或设置域属性的值）等属性，或者是在style文件中进行属性设置，在替换时，需要根据具体情况确定需要修改的属性，然后将原颜色值替换为所计算出的颜色替换的最优值，

对于Image Contrast的问题（Image Contrast即，图像对比度，指的是图像的颜色（前景色）和图像所在的背景的颜色（背景色）之间的对比度），主要包含ImageButton（图像按钮），ImageView（图片浏览），在定位到相关图像后，根据计算所得的最佳替换值改变RGB图像的RGB的值。

以上对本发明做了示例性的描述，应该说明的是，在不脱离本发明的核心的情况下，任何简单的变形、修改或者其他本领域技术人员能够不花费创造性劳动的等同替换均落入本发明的保护范围。

Claims

1.一种针对app中色彩普适性问题的修复方法，其特征在于，包括以下步骤：

步骤3，根据得到的颜色替换的最优值对问题组件的属性进行替换，输出新的app文件。

2.根据权利要求1所述的针对app中色彩普适性问题的修复方法，其特征在于：采用自动化可访问性问题检测工具Xbot 确定app的色彩普适性问题检测结果。

3.根据权利要求1所述的针对app中色彩普适性问题的修复方法，其特征在于：所述建立的颜色参考数据库包括两部分内容：一是，每个app的独立数据集，包括存在色彩普适性问题的组件信息和没有色彩普适性问题的组件信息；二是，每个app中的活动页面的数据集。

4.根据权利要求1所述的针对app中色彩普适性问题的修复方法，其特征在于：步骤2.1中，获取的当前待修复app中存在色彩普适性问题的组件信息包括：活动页面的名称信息、组件的id或在活动页面的位置信息、前景色与背景色组成的颜色对信息、以及组件类型信息。

5.根据权利要求1所述的针对app中色彩普适性问题的修复方法，其特征在于：在步骤2.3中，使用模糊匹配的算法在颜色参考数据库中的其他app图库中匹配与问题组件所在activity的名称相近的activity图库作为查找颜色替换的最优值的目标图库。

6.根据权利要求5所述的针对app中色彩普适性问题的修复方法，其特征在于：从目标图库内选择与问题组件同一类型的组件从中提取出所有符合对比度标准的颜色对，然后在这些颜色对中选择背景色与问题组件的背景色相同的颜色对，形成颜色对集S2；如果S2不为空，则在颜色对集S2中选出在问题组件原颜色色调范围内且最接近问题组件原颜色的前景色作为颜色替换的最优值。

7.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被执行时实现如权利要求1至6中任一项所述的方法的步骤。