CN115729418A - 用户界面的控制方法和控制装置 - Google Patents

Abstract

本发明公开了一种用户界面的控制方法和控制装置。该控制方法包括以下步骤：基于收到的语音指令确定关键词信息；判断所加载的界面中是否包括带有文字信息且可点击的可视化控件；响应于该界面中包括带有文字信息且可点击的该可视化控件，将该可视化控件中的文字信息与该可视化控件的可点击区域相关联；以及确定该关键词信息所对应的该可点击区域并对其进行虚拟点击。通过该控制装置实施上述用户界面的控制方法，本发明不需要在开发应用软件过程中配置专用的语音控件并注册语音词条，而是能够自动识别随机加载出的界面上的可点击的文字区域，通过语音指令，对该可点击的文字区域进行虚拟点击，实现无手动触控式控制。

Description

用户界面的控制方法和控制装置

技术领域

本发明涉及语音交互领域，尤其涉及一种用户界面的控制方法和控制装置。

背景技术

随着语音交互技术的不断成熟，无论是生活中还是工作中，越来越多的设备中使用语音交互来界面上显示的内容进行无手动触控式控制，也就是“可见即可说”控制。

现有技术中，虽然也有响应于说出屏幕上出现的功能选项而进行语音控制的“可见即可说”技术，但是传统的“可见即可说”技术目前只能应用于特定的配置有专门的语音控件并提前注册好所有词条的应用软件上，对于如像小程序和网页等随机加载出来的界面中的内容，无法实现“可见即可说”的语音交互控制。原因是传统的“可见即可说”功能是通过在产品的开发阶段，开发工程师定义好每个原生应用软件内部的语音交互词条，然后通过专门的语音控件对这些词条进行注册，也就是确定能够响应语音交互的特定词语。一般应用软件内部提前注册的词条数目都是确定且有限的，所以现有的“可见即可说”技术往往无法应用于随机加载出的界面的语音控制。

综上所述，为了解决现有技术中存在的上述问题，本领域亟需一种用户界面的控制技术，不需要在开发应用软件过程中配置专用的语音控件并注册语音词条，而是能够通过自动识别当前界面上的可点击的文字区域，通过语音指令，对该可点击的文字区域进行虚拟点击，实现了对于各种随机加载出的界面的无手动触控式控制，不仅操作简便而且解放了用户的双手，大大提升了用户体验。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之前序。

为了解决现有技术中存在的上述问题，本发明提供了一种用户界面的控制方法、控制装置以及一种计算机可读存储介质，不需要在开发应用软件过程中配置专用的语音控件并注册语音词条，而是能够通过自动识别当前界面上的可点击的文字区域，通过语音指令，对该可点击的文字区域进行虚拟点击，实现了对于各种随机加载出的界面的无手动触控式控制，不仅操作简便而且解放了用户的双手，大大提升了用户体验。

具体来说，本发明的一方面提供了一种用户界面的控制方法，该控制方法包括以下步骤：判断所加载的界面中是否包括带有文字信息且可点击的可视化控件；响应于该界面中包括带有文字信息且可点击的该可视化控件，将该可视化控件中的文字信息与该可视化控件的可点击区域相关联；基于收到的语音指令确定关键词信息；以及确定该关键词信息所对应的该可点击区域并对其进行虚拟点击。通过实施该方法，本发明能够不需要在开发应用软件过程中配置专用的语音控件并注册语音词条，而是能够通过自动识别当前界面上的可点击的文字区域，通过语音指令，对该可点击的文字区域进行虚拟点击，实现了对于各种随机加载出的界面的无手动触控式控制，不仅操作简便而且解放了用户的双手，大大提升了用户体验。

根据本发明的另一方面提供的一种用户界面的控制装置包括存储器及处理器。该处理器连接该存储器，并被配置用于实施本发明的一方面提供的用户界面的控制方法。通过实施上述用户界面的控制方法，该控制装置能够不需要在开发应用软件过程中配置专用的语音控件并注册语音词条，而是能够通过自动识别当前界面上的可点击的文字区域，通过语音指令，对该可点击的文字区域进行虚拟点击，实现了对于各种随机加载出的界面的无手动触控式控制，不仅操作简便而且解放了用户的双手，大大提升了用户体验。

根据本发明的另一方面提供的上述计算机可读存储介质，其上存储有计算机指令。所述计算机指令被处理器执行时，实施本发明的一方面提供的用户界面的控制方法。通过实施上述用户界面的控制方法，该计算机可读存储介质能够不需要在开发应用软件过程中配置专用的语音控件并注册语音词条，而是能够通过自动识别当前界面上的可点击的文字区域，通过语音指令，对该可点击的文字区域进行虚拟点击，实现了对于各种随机加载出的界面的无手动触控式控制，不仅操作简便而且解放了用户的双手，大大提升了用户体验。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1示出了根据本发明的一些实施例提供的用户界面的控制方法的流程示意图；

图2示出了根据本发明的一些实施例提供的用户界面的控制方法中对于可视化控件的判断过程示意图；以及

图3示出了根据本发明的一些实施例提供的用户界面的控制装置的示意图。

附图标记：

300：用户界面的控制装置；

310：存储器；以及

320：处理器。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合优选实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解，以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

另外，在以下的说明中所使用的“上”、“下”、“左”、“右”、“顶”、“底”、“水平”、“垂直”应被理解为该段以及相关附图中所绘示的方位。此相对性的用语仅是为了方便说明之用，其并不代表其所叙述的装置需以特定方位来制造或运作，因此不应理解为对本发明的限制。

能理解的是，虽然在此可使用用语“第一”、“第二”、“第三”等来叙述各种组件、区域、层和/或部分，这些组件、区域、层和/或部分不应被这些用语限定，且这些用语仅是用来区别不同的组件、区域、层和/或部分。因此，以下讨论的第一组件、区域、层和/或部分可在不偏离本发明一些实施例的情况下被称为第二组件、区域、层和/或部分。

如上所述，现有技术中，虽然也出现了响应于说出屏幕上出现的功能选项而进行语音控制的“可见即可说”技术，但是传统的“可见即可说”技术目前只能应用于特定的配置有专门的语音控件并提前注册好所有词条的应用软件上，对于如像小程序和网页等随机加载出来的界面中的内容，无法实现“可见即可说”的语音交互控制。原因是传统的“可见即可说”功能是通过在产品的开发阶段，开发工程师定义好每个原生应用软件内部的语音交互词条，然后通过专门的语音控件对这些词条进行注册，也就是确定能够响应语音交互的特定词语。一般应用软件内部提前注册的词条数目都是确定且有限的，所以现有的“可见即可说”技术往往无法应用于随机加载出的界面的语音控制。

为了解决现有技术中存在的上述问题，本发明提供了一种用户界面的控制技术，不需要在开发应用软件过程中配置专用的语音控件并注册语音词条，而是能够通过自动识别当前界面上的可点击的文字区域，通过语音指令，对该可点击的文字区域进行虚拟点击，实现了对于各种随机加载出的界面的无手动触控式控制，不仅操作简便而且解放了用户的双手，大大提升了用户体验。

在一些非限制性的实施例中，本发明的一方面提供的上述用户界面的控制方法可以由本发明的另一方面提供的上述用户界面的控制装置实施。具体来说，该用户界面的控制装置有存储器及处理器。该存储器包括但不限于本发明的另一方面提供的上述计算机可读存储介质，其上存储有计算机指令。该处理器连接该存储器，被配置用于执行该存储器上存储的计算机指令，以实施本发明的一方面提供的上述用户界面的控制方法。

以下将结合一些用户界面的控制方法的实施例，描述该用户界面的控制装置的工作原理。本领域的技术人员可以理解，这些用户界面的控制方法的实施例只是本发明提供的一些非限制性的实施方式，旨在清楚地展示本发明的主要构思，并提供一些便于公众实施的具体方案，而非用于限制该用户界面的控制装置的全部工作方式及全部功能。同样地，该用户界面的控制装置也只是本发明提供的一种非限制性的实施方式，不对这些用户界面的控制方法中各步骤的实施主体构成限制。

请参看图1，图1示出了根据本发明的一些实施例提供的用户界面的控制方法的流程示意图。如图1所示，在本发明的一些实施例中，用户界面的控制方法的步骤包括：

S100：判断所加载的界面中是否包括带有文字信息且可点击的可视化控件。

在本发明的一些实施例中，本发明所提供的用户界面的控制方法可以应用于多种终端设备，如智能手机、车载系统、平板电脑等可进行人机交互的设备。

终端设备在加载出一个新界面时，其系统内部会自动扫描该界面。本实施例中的界面包括连网状态下和/或本地状态下的网页界面、应用软件内和/或小程序的各项界面等。

可以通过终端设备自带的文字识别SDK将当前加载出的界面上内容进行扫描，通过判断所加载的界面中是否包括带有文字信息且可点击的可视化控件，从而找到当前界面中可点击的文字显示区域，并获得该界面上的文字内容。

具体请参看图2，图2示出了根据本发明的一些实施例提供的用户界面的控制方法中对于可视化控件的判断过程示意图。

如图2所示，终端设备的文字识别SDK扫描加载出的当前界面上的所有控件。View类是所有控件的基类，主要提供了控件绘制和事务处理的方法。创建用户界面所使用的控件都继承自View，如EditText、TextView、Button等。

本实施例中，扫描得到当前界面的前台布局，通过判断当前界面中的各个控件View的属性，从而判断得该界面中是否包括带有文字信息且可点击的可视化控件View。本实施例中，需要判断的控件View的属性包括可显示属性，可点击属性，以及文字信息属性。

当判断得上述当前界面上的任一控件View的可显示属性为真，则说明该控件View为可视化控件，也就是说，该控件View会在界面中显示并被看到。继续判断该控件View的文字信息属性是否为空，以及可点击属性是否为真。当后两者的判断结果为该可视化控件View的文字信息属性不为空且可点击属性为真，则说明该可视化控件View是带有文字信息且可点击的可视化控件View。

之所以要进行控件View的文字属性判断和可点击属性判断，是因为本发明的技术效果是通过用户语音说出随机加载出的当前界面中的想要点击的文字内容，然后界面上的虚拟鼠标就会点击与该语音指令中关键词相对应的界面上的文字内容，并执行该文字内容对应的功能。所以，本发明提供的用户界面的控制方法就需要识别当前界面上是否包含文字信息，只有当前界面上有文字内容，用户才能根据界面上显示的该文字内容，语音说出相应的控制指令。另外，如果控件View是不可点击的，那么即使该控件View显示于界面上且带有文字，它也不能通过语音交互对其进行控制操作。比如界面上显示的文字以图片形式存在，该图片形式的文字是不可点击的，所以即使用户说出文字内容，该控件View也不会响应用户的语音控制而执行相应的功能。

所以，为了提高本发明提供的用户界面的控制方法“可见即可说”语音交互技术的识别准确率和点击响应度，本实施例中对于可视化控件View进行了文字信息属性和可点击属性的判断。

上述控件View的可显示属性、文字信息属性、和可点击属性的判断顺序包括但不限于本实施例中提到的顺序，可以根据实际情况更换判断顺序。

继续执行用户界面的控制方法的步骤S200：响应于该界面中包括带有文字信息且可点击的该可视化控件，将该可视化控件中的文字信息与该可视化控件的可点击区域相关联。

请继续参看图2，在经过对于上述控件View各个属性的判断后，计算获得上述可视化控件View的可点击区域，也就是带文字信息且可点击的可视化控件View的位置信息。

在一些实施例中，先获取该可视化控件View在显示界面上的起始坐标点位置(x,y)，以及该可视化控件View的宽度和高度。通过该可视化控件View的起始坐标点位置、宽度和高度，可以确定该可视化控件View在当前界面上的可点击区域，也就是该可视化控件View的位置信息。

举例说明，将上述用户界面的控制方法应用于车载系统中时，假设车载显示屏当前加载出的界面上显示有“音乐”、“空调”等文字内容。并且，判断得知对应“音乐”和“空调”文字内容的可视化控件View1和可视化控件View2均为可点击的。进一步地，以当前界面作为一个坐标系，该界面的长为横轴，宽为纵轴，车载系统内部将其该界面进行划分。假设该界面被划分为横轴长度为20厘米，纵轴长度的15厘米的平面直角坐标系。

本实施例中，默认的可视化控件View的起始坐标点位置为左下角坐标，且该可视化空间View为矩形控件。

假设对应“音乐”文字内容的可视化控件View1在当前界面的坐标为(1，12)，可视化控件View1的宽度为2厘米，高度为1厘米，则可得到该矩形可视化控件View1的四个顶点的坐标位置分别为左下起始点(1，12)，左上顶点(1，13)，右下顶点(3，12)，右上顶点(3，13)，由此便可得到对应“音乐”文字内容的可视化控件View1在的车载显示屏上当前界面中的位置，是位于显示屏界面的左上方处的宽为2厘米，高1厘米的矩形可点击区域。

同理，假设对应“空调”文字内容的可视化控件View2在当前界面的坐标为(1，6)。可视化控件View2的宽度为2厘米，高度为1厘米，则可得到该矩形可视化控件View1的四个顶点的坐标位置分别为左下起始点(1，6)，左上顶点(1，7)，右下顶点(3，6)，右上顶点(3，7)，由此便可得到另一对应“空调”文字内容的可视化控件View2是位于车载显示屏界面的左边中部处的长为2厘米，宽1厘米的矩形可点击区域。

请继续参看图1，在步骤S200中，在确定了该界面中包括带有文字信息且可点击的可视化控件View的可点击区域的位置信息后，将该可视化控件View中的文字信息与其可点击区域相关联。

在一实施例中，将该可视化控件View内的文字信息与该可视化控件View的可点击区域的位置信息相关联地存储于信息映射表中。信息映射表是系统内部的用于关联性地存储各个可视化控件View的文字内容以及其对应的可点击区域的列表。

继续以上述可视化控件View1和View2为例，表1为信息映射表。首先将可视化控件View1对应的文字内容“音乐”存储于信息映射表表1的文字内容栏下方。将该可视化控件View1对应的可点击区域的位置，即可视化控件View1的四个顶点坐标存储于该信息映射表表1的位置信息栏下。在该信息映射表表1中，可视化控件View1的文字内容“音乐”和其坐标信息互相对应。

可视化控件	文字内容	位置信息
			View1	音乐	(1，12)，(1，13)，(3，12)，(3，13)
View2	空调	(1，6)，(1，7)，(3，6)，(3，7)
			……	……	……

表1

同理，如上述表1所示，将可视化控件View2对应的文字内容“空调”存储于信息映射表表1的文字内容栏下方。将可视化控件View2对应的可点击区域的位置，即可视化控件View2的四个顶点坐标存储于该信息映射表表1的位置信息栏下。在该信息映射表表1中，可视化控件View2的文字内容“空调”和其坐标信息互相对应。

优选地，在本发明的一些实施例中，在将上述可视化控件View中的文字信息与该可视化控件View的可点击区域相关联之前，需要先判断该可视化控件View的文字信息是否小于预设字数。本发明中提供的用户界面的控制方法的目的是为了通过语音指令，对该可点击的文字区域进行虚拟点击，实现对于各种随机加载出的界面“可见即可说”的控制，实现更加简便的操作控制。但是，如果该可视化控件View的字数过多，用户在下达语音控制时需要念出当前界面上的一大段文字，不仅需要花费大量时间，而且用户在读出该大段文字时，眼睛需要一直盯着显示屏，增大了该控制方法在车载环境下对于用户的干扰。

所以，当该可视化控件View的文字信息小于设定的预设字数(如5个字)，本发明的控制方法才可继续执行下一步骤，将该可视化控件View中的文字信息与该可视化控件View的可点击区域相关联。

继续执行用户界面的控制方法的步骤S300：基于收到的语音指令确定关键词信息。

从收到的语音指令中获取其中的关键词信息这一步骤在本质上对应的是语音识别技术。语音识别技术原理就是一种模式识别系统，即通过学习，该系统能够把输入的语音按一定模式进行分类，进而依据判定准则找出最佳匹配结果。语音识别技术一般包括特征提取、模式匹配、参考模式库三个基本单元。

语音识别技术的模式识别包括预处理，特征提取，模式匹配等基本模块。首先，对用户的输入语音进行预处理，其中预处理包括分帧，加窗，预加重等。随后进行特征提取，常用的特征参数包括：基音周期，共振峰，短时平均能量或幅度，线性预测系数(LPC)，感知加权预测系数(PLP)，短时平均过零率等。在进行实际识别时，要对测试语音按训练过程产生模板，最后根据失真判决准则进行识别。常用的失真判决准则有欧式距离，协方差矩阵与贝叶斯距离等。

通过上述语音识别技术，可以提取出用户语音指令中的关键词。可选地，提取语音指令中的关键词的方法包括但不限于本实施例中提到的方法，可以根据实际情况，使用不同的方法得到该语音指令中的关键词信息。

继续执行步骤S400：确定该关键词信息所对应的该可点击区域并对其进行虚拟点击。

在一实施例中，响应于终端设备获得用户语音指令中的关键词信息，终端系统在该信息映射表中查找上述语音指令中的关键词信息。当终端系统在信息映射表中的文字内容栏下方找到了与该获得的语音指令中关键词信息相同的文字信息，则与该关键词信息所对应的文字内容相关联的可视化控件View的可点击区域，即为本次执行虚拟点击的区域。

举例说明，在车载环境下，车载显示屏的当前界面显示有“音乐”、“空调”等内容，车载系统扫描该页面上的所有控件View，并对其进行可显示属性、文字信息属性、以及可点击属性的判断，将当前界面各个带有文字信息且可点击的可视化控件View及其可点击区域的位置信息一一存储于系统内的信息映射表中，并且其中每一个可视化控件View的文字内容和位置信息互相关联。可参考上述的信息映射表表1。

当车主对车载显示屏上当前界面中显示的“音乐”，语音说出“音乐”时，车载系统通过语音识别技术获得用户语音指令中的关键词信息，也就是“音乐”二字。在信息映射表中查找“音乐”的文字内容，查找结果为该“音乐”文字内容对应的可视化控件View为可视化控件View1。在车载显示屏界面上，虚拟鼠标点击该可视化控件View1对应的“音乐”的可点击区域，音乐播放软件开始工作。

然而，如果此时车主说的语音指令是“倒车”，车载系统通过语音识别技术获得用户语音指令中的关键词信息，也就是“倒车”二字。在当前界面的信息映射表中没有查找“倒车”的文字内容，也就是说，当前界面上的所有可视化控件View中，没有带有“倒车”文字内容的可视化控件。车载系统发出提示，请用户重新发布语音指令。

基于以上描述，本发明提供了一种用户界面的控制方法。该控制方法不需要在开发应用软件过程中配置专用的语音控件并注册语音词条，而是能够通过自动识别当前界面上的可点击的文字区域，通过语音指令，对该可点击的文字区域进行虚拟点击，实现了对于各种随机加载出的界面的无手动触控式控制，不仅操作简便而且解放了用户的双手，大大提升了用户体验。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

根据本发明的另一方面，本发明还提供了一种用户界面的控制装置300。请参考图3，图3示出了根据本发明的一些实施例提供的用户界面的控制装置的示意图。

如图3所示，本发明提供的上述用户界面的控制装置300包括存储器310及处理器320。处理器320连接存储器310，并配置用于执行存储器310中存储的计算机指令，以实施本发明的一方面提供的上述用户界面的控制方法。通过实施上述用户界面的控制方法，该用户界面的控制装置300能够不需要在开发应用软件过程中配置专用的语音控件并注册语音词条，而是能够通过自动识别当前界面上的可点击的文字区域，通过语音指令，对该可点击的文字区域进行虚拟点击，实现了对于各种随机加载出的界面的无手动触控式控制，不仅操作简便而且解放了用户的双手，大大提升了用户体验。

本领域技术人员将可理解，信息、信号和数据可使用各种不同技术和技艺中的任何技术和技艺来表示。例如，以上描述通篇引述的数据、指令、命令、信息、信号、位(比特)、码元、和码片可由电压、电流、电磁波、磁场或磁粒子、光场或光学粒子、或其任何组合来表示。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

尽管上述的实施例所述的处理器320是可以通过软件与硬件的组合来实现的。但是可以理解，处理器320也可在软件、硬件中加以实施。对于硬件实施而言，处理器320可在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、用于执行上述功能的其它电子装置或上述装置的选择组合来加以实施。对软件实施而言，处理器320可通过在通用芯片上运行的诸如程序模块(procedures)和函数模块(functions)等独立的软件模块来加以实施，其中每一个模块执行一个或多个本文中描述的功能和操作。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (9)

1.一种用户界面的控制方法，其特征在于，包括以下步骤：

判断所加载的界面中是否包括带有文字信息且可点击的可视化控件；

响应于所述界面中包括带有文字信息且可点击的所述可视化控件，将所述可视化控件中的文字信息与所述可视化控件的可点击区域相关联；

基于收到的语音指令确定关键词信息；以及

确定所述关键词信息所对应的所述可点击区域并对其进行虚拟点击。

2.如权利要求1所述的控制方法，其中，判断所加载的界面中是否包括带有文字信息且可点击的可视化控件的步骤包括：

扫描所述界面中的所有可视化控件，响应于任一所述可视化控件的可显示属性为真，判断所述可视化控件的文字信息属性是否为空和可点击属性是否为真；

响应于所述可视化控件的文字信息属性不为空且可点击属性为真，确定所述可视化控件为带有文字信息且可点击的可视化控件。

3.如权利要1所述的控制方法，其中，还包括：

获取所述可视化控件的起始坐标点位置和所述可视化控件的宽度和高度；以及

基于所述可视化控件的起始坐标点位置和宽度及高度确定所述可视化控件在所述界面上的所述可点击区域。

4.如权利要1所述的控制方法，其中，将所述可视化控件中的文字信息与所述可视化控件的可点击区域相关联的步骤包括：

所述将所述可视化控件内的文字信息与所述可视化控件的可点击区域的位置信息相关联地存储于信息映射表中。

5.如权利要4所述的控制方法，其中，所述确定所述关键词信息所对应的可点击区域并对其进行虚拟点击的步骤包括：

在所述信息映射表中查找所述语音指令中的关键词信息；

响应于所述信息映射表中查找到所述语音指令中的关键词信息，确定所述关键词信息所对应的可点击区域并对其进行虚拟点击。

6.如权利要5所述的控制方法，其中，响应于在所述信息映射表中没有查找到所述语音指令中的关键词信息，提示重新发布所述语音指令。

7.如权利要1所述的控制方法，其中，在将所述可视化控件中的文字信息与所述可视化控件的可点击区域相关联之前，还包括：

判断所述可视化控件的文字信息是否小于预设字数；

响应于所述可视化控件的文字信息小于预设字数，才将所述可视化控件中的文字信息与所述可视化控件的可点击区域相关联。

8.一种用户界面的控制装置，其特征在于，包括：

存储器；以及

处理器，所述处理器连接所述存储器，并被配置用于实施如权利要求1～7中任一项所述的用户界面的控制方法。

9.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时，实施如权利要求1～7中任一项所述的用户界面的控制方法。

Images