CN115881116A - 界面控制方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请提供一种界面控制方法、装置、电子设备及计算机可读存储介质，该方法包括：获取控制电子设备的控制语音对应的数字信息；对电子设备的当前界面执行扫描操作，以获得当前界面对应的控件信息；从控件信息中，确定与数字信息对应的目标数字控件组；向目标数字控件组发送模拟按键控制指令，以对目标数字控件组进行模拟控制。本申请实施例可以在所见即所得的语音控制条件下，通过语音依次性输入多个数字信息，避免了通过语音只能等待前一个数字信息输入完毕后才能输入下一个数字信息的问题，有效提高通过语音输入数字信息的效率。

Description

界面控制方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及界面控制技术领域，具体涉及一种界面控制方法、装置、电子设备及计算机可读存储介质。

背景技术

随着终端技术的不断发展，电子设备的应用也越来越广泛。目前，手机、平板电脑、智能电视等终端一般是基于Android操作系统的。电子设备可以通过语音控制，即，用户输入语音，电子设备根据语音执行相应的控制操作。其中，电子设备在接收到用户语音后，将语音内容转换为文字内容，然后在终端界面或应用界面上搜寻与该语音内容一致的控件，在发送模拟按键指令来操作相应控件，以实现语音控制界面，这种控制方式称为所见即所得。

但是，当用户需要输入语音内容为一串数字时，如数字验证码、手机号码等场景，需要先通过语音表达第一个数字，然后等待这第一个数字输入至界面后，才能继续重复操作输入第二个数字，从而降低了通过语音输入数字信息的效率。

因此，如何提高通过语音输入数字信息的效率，是当前界面控制技术领域亟需解决的技术问题。

发明内容

本申请提供一种界面控制方法、装置、电子设备及计算机可读存储介质，旨在解决如何提高通过语音输入数字信息的效率。

一方面，本申请提供一种界面控制方法，包括：

获取控制电子设备的控制语音对应的数字信息；

对电子设备的当前界面执行扫描操作，以获得当前界面对应的控件信息；

从控件信息中，确定与数字信息对应的目标数字控件组；

向目标数字控件组发送模拟按键控制指令，以对目标数字控件组进行模拟控制。

另一方面，本申请提供一种界面控制装置，包括：

第一获取单元，用于获取控制电子设备的控制语音对应的数字信息；

第一扫描单元，用于对电子设备的当前界面执行扫描操作，以获得当前界面对应的控件信息；

第一确定单元，用于从控件信息中，确定与数字信息对应的目标数字控件组；

第一发送单元，用于向目标数字控件组发送模拟按键控制指令，以对目标数字控件组进行模拟控制。

另一方面，本申请还提供一种电子设备，电子设备包括处理器、存储器以及存储于存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序以实现界面控制方法中的步骤。

另一方面，本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行以实现界面控制方法中的步骤。

本申请实施例在控制语音输入时，获取控制语音对应的数字信息，然后对电子设备的当前界面进行扫描操作，从而以获得当前界面对应的控件信息；并判断控件信息中是否包括有与数字信息对应的数字控件，若是，则从控件信息中，确定与该数字信息对应的目标数字控件组，并向目标数字控件组发送模拟按键控制指令，以对目标数字控件组进行模拟控制，从而在所见即所得的语音控制条件下，可以通过语音依次性输入多个数字信息，避免了通过语音只能等待前一个数字信息输入完毕后才能输入下一个数字信息的问题，有效提高通过语音输入数字信息的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例中提供的界面控制方法的一个实施例流程示意图；

图2是本申请实施例中步骤102的一个实施例流程示意图；

图3是本申请实施例中步骤103的一个实施例流程示意图；

图4是本申请实施例中提供的界面控制方法的又一个实施例流程示意图；

图5是本申请实施例中步骤101的一个实施例流程示意图；

图6是本申请实施例中提供的界面控制方法的另一个实施例流程示意图；

图7是本申请实施例中提供的界面控制方法的又一个实施例流程示意图；

图8是本申请实施例中提供的界面控制方法的另一个实施例流程示意图；

图9是本申请实施例中提供的应用界面示意图；

图10本申请实施例中提供的界面控制装置的一个实施例结构示意图；

图11是本申请实施例中提供的电子设备的一个实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

在介绍本申请实施例提供的技术方案之前，首先对本申请实施例可能涉及的应用场景进行介绍说明。

本申请实施例的技术方案可以具体应用于基于Android操作系统的电子设备，该电子设备可以包括但不限于智能手机、平板电脑、智能电视等。电子设备上安装有多个应用程序，每个应用程序均有相应的应用界面，每个应用界面上有一个或多个控件节点。这些控件节点可以单纯包含文字，也可以包含图片，图片里包含有相应的文字信息。用户可以点击这些控件节点，对该界面进行相应的控制操作。

现有技术中可以通过语音控制应用界面中的文字控件节点，但是，当用户需要输入语音内容为一串数字时，如数字验证码、手机号码等场景，需要先通过语音表达第一个数字，然后等待这第一个数字输入至界面后，才能继续重复操作输入第二个数字，从而有效降低了通过语音输入数字信息的效率。本申请实施例提供的技术方案可以实现通过语音一次性输入多个数字信息的场景下的界面控制。在介绍完本发明实施例可能涉及的应用场景后，下面将对本申请实施例的技术方案进行详细介绍。

为了说明本申请的技术方案，下面通过具体实施例来进行说明。

本申请实施例提供一种界面控制方法、装置、电子设备及计算机可读存储介质，以下分别进行详细说明。

首先，介绍本申请实施例提供的界面控制方法。

本申实施例界面控制方法的实施例中以电子设备作为执行主体，为了简化与便于描述，后续方法实施例中将省略该执行主体，该界面控制装置应用于电子设备，该方法包括：获取控制电子设备的控制语音对应的数字信息；对电子设备的当前界面执行扫描操作，以获得当前界面对应的控件信息；从控件信息中，确定与数字信息对应的目标数字控件组；向目标数字控件组发送模拟按键控制指令，以对目标数字控件组进行模拟控制。

请参阅图1至图11，图1为本申请实施例中提供的界面控制方法的一个实施例流程示意图，该界面控制方法包括具体包括步骤101至步骤104：

101、获取控制电子设备的控制语音对应的数字信息。

具体的，当用户输入控制语音时，即Android电子设备接收到语音内容时，可以先将该语音内容转化为相应的文本(或文字)内容，然后再通过对文本内容进行预处理，得到文本内容中的数字信息。其中，数字信息为具有预设长度且连续的数字串，如一串11位数的手机号：12345678901，又或者是一串6位数的登录密码：123456。

本申请实施例中，当获取到了满足预设要求的数字信息后，可向预设的应用程序管理服务发送通知，以通过该应用程序管理服务调用预设的界面扫描服务。其中，预设的应用程序管理服务是继承Android原生系统中的无障碍辅助服务(AccessibilityService)的新的应用程序管理服务。其中，无障碍辅助服务是Google为用户提供了无障碍辅助服务，无障碍辅助服务运行在后台，并且能够收到由系统发出的一些事件，比如焦点改变，输入内容变化，按钮被点击了等等，该种服务能够请求获取当前活动窗口并查找其中的内容。换言之，界面中产生的任何变化都会产生一个事件，并由系统通知给无障碍辅助服务。

具体的，当预设的应用程序管理服务接收到通知后，会触发onAccessibilityEvent()函数回调，需要说明的是，可以将上述发送通知理解为是在执行语音处理内容的一个进程，预设的应用程序管理服务是另外一个进程，两者之间通过广播(android平台自身的一种通信机制)发送消息(通知)进行通信。

如上，触发onAccessibilityEvent()函数回调，即执行onAccessibilityEvent()函数。在该onAccessibilityEvent()函数中执行下述步骤102和步骤103。

102、对电子设备的当前界面执行扫描操作，以获得当前界面对应的控件信息。

上述当前界面指的是电子设备上已安装应用的应用界面，该应用界面内可以包括若干个控件。

一般而言，Android的系统服务，包含众多内置的服务，比如电源管理服务，界面管理服务，输入管理服务，包管理服务等等。以及在步骤101中提到的，当获取到了满足预设要求的数字信息后，可向预设的应用程序管理服务发送通知，以通过该预设的应用程序管理服务调用预设的界面扫描服务。其中，界面扫描服务为本申请新增的类似于上述的系统服务。该界面扫描服务主要的功能是用于扫描当前界面的界面信息，其中，该界面信息可以包括界面的布局信息，由此，可以进一步的确定系统中每个应用程序的每一个界面是否包含预设的数字控件。

103、从控件信息中，确定与数字信息对应的目标数字控件组。

可以理解的是，控件信息一般可以包括图片控件、文字控件以及数字控件，如果控件信息中仅包括图片控件和/或文字控件，则不满足本申请继续操作的条件，因此，本申请在执行“从控件信息中，确定与数字信息对应的目标数字控件组”之前，需要先确认控件信息中至少包括有与上述数字信息对应的数字控件，例如，数字信息对应的数字串位13141321，那么此控件信息中至少需要包括数字为1对应的数字控件、数字为2对应的数字控件、数字为3对应的数字控件以及数字为4对应的数字控件。

当控件信息中包括与数字信息对应的数字控件时，则从控件信息中，确定与数字信息对应的目标数字控件组。其中，目标数字控件组与数字信息相对应，即至少要求数字长度以及数字排列顺序相对应，例如数字信息的数字串为12345654321，那么目标数字控件组应该为，控件1、控件2、控件3、控件4、控件5、控件6、控件5、控件4、控件3、控件2、控件1。

104、向目标数字控件组发送模拟按键控制指令，以对目标数字控件组进行模拟控制。

模拟控制，即按键触摸类模拟点击，指的是可以通过设置、脚本控制等方式去实现模拟点击，解放双手，达到自动化操作的目的。在Android中，模拟点击对应的就是触发屏幕点击事件，例如，游戏中完成自动化操作、应用中抢红包等操作。

其中，电子设备根据用户的控制语音，对相应的控件进行模拟点击，不用人实际接触电子设备界面，通过语音实现对界面的控制。

本申请实施例在控制语音输入时，获取控制语音对应的数字信息，然后对电子设备的当前界面进行扫描操作，从而以获得当前界面对应的控件信息；并判断控件信息中是否包括有与数字信息对应的数字控件，若是，则从控件信息中，确定与该数字信息对应的目标数字控件组，并向目标数字控件组发送模拟按键控制指令，以对目标数字控件组进行模拟控制，从而在所见即所得的语音控制条件下，可以通过语音依次性输入多个数字信息，避免了通过语音只能等待前一个数字信息输入完毕后才能输入下一个数字信息的问题，有效提高通过语音输入数字信息的效率。

本申请实施例中，如图2所示，步骤102、对电子设备的当前界面执行扫描操作，以获得当前界面对应的控件信息，具体包括步骤201和步骤202：

201、通过界面扫描服务对电子设备的当前界面执行扫描操作，得到当前界面的布局信息；

202、对布局信息进行解析，以获得当前界面对应的控件信息。

在步骤201至步骤202中，应用程序的每一个界面对应一个布局文件，每个界面中展示的元素都位于其对应的布局文件中，每一个元素都对应布局文件中的一个控件。

本申请实施例中，如图3所示，其中，数字信息包括数字长度，控件信息包括文本显示控件、以及与文本显示控件对应的按钮控件；步骤103、从控件信息中，确定与数字信息对应的目标数字控件组，具体包括：

301、确定当前界面对应的控件信息中的文本显示控件；

302、基于数字长度，依次判断文本显示控件和数字信息是否匹配；

303、依次保存文本显示控件和数字信息匹配的按钮控件，得到目标数字控件组。

在步骤301至步骤303中，一般情况下界面中的数字控件，即该控件是按钮和文本，其中按钮和文本是Andorid系统中自带的控件，前者是按钮控件，主要用于点击按钮触发事；后者是文本显示控件，主要用于显示文本信息。所以，根据按钮和文本关键字在布局文件中搜索，并判断该控件的(android:text)的内容是否为数字，其中(android:text)属性的值是控件显示的内容。

本申请实施例中，如图4所示，在步骤104、向目标数字控件组发送模拟按键控制指令，以对目标数字控件组进行模拟控制之前，该方法还包括：

401、从预建立的控件数据库中获取与目标数字控件组对应的界面位置信息。

向目标数字控件组发送模拟按键控制指令，以对目标数字控件组进行模拟控制，包括：

402、根据界面位置信息，向目标数字控件组发送模拟按键控制指令，以对目标数字控件组进行模拟控制。

需要说明的是，上述界面位置信息指的是目标数字控件组在当前界面上的坐标信息。通过该目标数字控件组的界面位置信息，向该界面位置发送touch指令、click指令或者其他控制指令，以对界面位置进行模拟点击，已进行界面控制。

本申请实施例中，如图5所示，步骤101、获取控制电子设备的控制语音对应的数字信息，具体包括步骤501至步骤504：

501、获取控制电子设备的控制语音。

502、将控制语音转化为文本信息。

503、对文本信息进行分割处理，得到多个文本分割单元。

504、从多个文本分割单元中，选取连续的且达到预设长度要求的数字文本，得到控制语音对应的数字信息。

需要说明的是，连续且达到预设长度要求指的数字信息指的是一段文本信息中可能会同时包括文字、字母以及数字等，并且部分数字可能并不是我们需要的目标数字，例如，当一段语音信息为：“输入6个数字123456”，其中，我们实际需要输入的内容为123456，其中，从左至右，第一个数字6和第一个数字1之间插入有文字内容“个数字”，从而不满足连续的要求，本申请中为了提高输入效率，可限定预设长度为不小于2位数字，需要说明的是，为了进一步的提高输入效率，可对预设长度进行适当的调整，例如预设长度不小6位数字。

本申请实施例中，如图6所示，在步骤101、获取控制电子设备的控制语音对应的数字信息之前，该方法还包括步骤601至步骤604：

601、调用应用程序管理服务，获取电子设备上已安装应用的应用程序文件；

602、通过反汇编工具对应用程序文件进行反汇编，得到应用程序资源文件；

603、解析各个应用程序资源文件，获得每一个应用程序的应用信息。

其中，应用信息包括应用包名、应用界面包名以及应用界面的控件信息；

604、根据应用信息，建立控件数据库。

需要说明的是，上述应用程序管理服务为Android系统中的一个服务，该服务负责扫描系统中特定的目录，获取到应用程序文件，即，获取以apk为后缀名的文件；然后解析应用程序文件，得到应用程序的相关信息。

具体地，可以利用反汇编共建apktool反汇编apk文件得到应用程序的smali代码、图片、XML配置文件等资源文件，反汇编中，还可以得到R.class文件；解析这些应用资源文件，可以得到应用的每一个界面以及每一个界面加载的布局文件；从应用程序的布局文件中可以获得应用包名、应用界面包名、应用界面对应的布局名称、应用界面对应的控件名称、控件坐标、控件属性等应用信息。然后根据这些应用信息，建立控件数据库。

具体应用中，用户可能会安装新应用，或者是卸载应用。为了保证控件数据库中的数据准确性，可以在安装或卸载时，相应地更新控件数据库。

本申请实施例中，如图7所示，该方法还包括步骤701和步骤702：

701、通过监听器实时监听电子设备是否有新应用安装操作；

702、当监听到有新应用安装操作，在新应用安装过程中调用应用程序管理服务对新应用进行解析，获得新应用的应用信息，并将新应用的应用信息存储在控件数据库。

本申请实施例中，如图8所示，该方法还包括步骤801和步骤802：

801、通过监听器实时监听电子设备是否有应用卸载操作；

802、当监听到有应用卸载操作时，在应用卸载过程中调用应用程序管理服务对卸载应用进行解析，获得卸载应用的应用信息，并根据卸载应用的应用信息，从控件数据库删除卸载应用的应用信息。

为了更好地介绍本申请实施例提供的技术方案，下面将结合图9示出的应用界面示意图进行距离举例介绍说明。

以智能车机端为例，图9所示的应用界面包括42个控件，当用户需要登录智能车机端上的某应用程序时，需要语音输入验证密码，此时用户输入的控制语音对应的内容为“请输入数字123456”，则依次执行上述步骤501至步骤504，以将用户输入控制语音转化为对应的数字信息“123456”，然后向在系统中运行的预设的应用程序管理服务(所见即所得服务)发出通知，这时，预设的应用程序管理服务中的重写onAccessibilityEvent()函数执行，并执行上述步骤201和步骤202，以获得当前界面对应的控件信息。

因为当前用户输入内容是123456，根据文字内容的长度依次顺序获取其中的数字，按照顺序获取到的第一个是数字是1，在当前界面获取到包含有该数字内容即1的控件，则依次执行上述步骤301至步骤303：即先遍历所有当前界面对应的控件信息中的文本显示控件；然后基于数字长度，依次判断文本显示控件和数字信息是否匹配；最后判断若是，将与文本显示控件对应的按钮控件确定为目标数字控件组。

至此，执行完上述步骤后，得到了目标数字控件组，比如这里找到的控件依次是控件1，控件2，控件3，控件4，控件5，控件6依次以上控件执行模拟按键操作，即依次点击这些控件，即当用户语音输入验证密码123456后，在当前界面依次响应以上控件，从而完成用语音控制用户输入语音内容为一串数字时如数字验证码、手机号码等的场景的界面控制。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

为了更好实施本申请实施例中界面控制方法，在界面控制方法基础之上，本申请实施例中还提供一种界面控制装置，如图10所示，该界面控制装置10包括第一获取单元11、第一扫描单元12、第一确定单元13以及第一发送单元14：

第一获取单元11，用于获取控制电子设备的控制语音对应的数字信息；

第一扫描单元12，用于对电子设备的当前界面执行扫描操作，以获得当前界面对应的控件信息；

第一确定单元13，用于从控件信息中，确定与数字信息对应的目标数字控件组；

第一发送单元14，用于向目标数字控件组发送模拟按键控制指令，以对目标数字控件组进行模拟控制。

本申请实施例中，该装置还包括：

第一通知单元，用于向预设的应用程序管理服务发送通知，以通过预设的应用程序管理服务调用预设的界面扫描服务；

对电子设备的当前界面执行扫描操作，以获得当前界面对应的控件信息。

本申请实施例中，第一扫描单元12具体用于：

通过界面扫描服务对电子设备的当前界面执行扫描操作，得到当前界面的布局信息；

对布局信息进行解析，以获得当前界面对应的控件信息。

本申请实施例中，数字信息包括数字长度，控件信息包括文本显示控件、以及与文本显示控件对应的按钮控件；

第一确定单元13具体用于：

确定当前界面对应的控件信息中的文本显示控件；

基于数字长度，依次判断文本显示控件和数字信息是否匹配；

依次保存文本显示控件和数字信息匹配的按钮控件，得到目标数字控件组。

本申请实施例中，该装置还用于：

从预建立的控件数据库中获取与目标数字控件组对应的界面位置信息；

第一发送单元，具体用于：

根据界面位置信息，向目标数字控件组发送模拟按键控制指令，以对目标数字控件组进行模拟控制。

本申请实施例中，第一获取单元11具体用于：

获取控制电子设备的控制语音；

将控制语音转化为文本信息；

对文本信息进行分割处理，得到多个文本分割单元；

从多个文本分割单元中，选取连续的且达到预设长度要求的数字文本，得到控制语音对应的数字信息。

本申请实施例中，该装置还用于：

调用应用程序管理服务，获取电子设备上已安装应用的应用程序文件；

通过反汇编工具对应用程序文件进行反汇编，得到应用程序资源文件；

解析各个应用程序资源文件，获得每一个应用程序的应用信息，其中，应用信息包括应用包名、应用界面包名以及应用界面的控件信息；

根据应用信息，建立控件数据库。

本申请实施例中，该装置还用于：

通过监听器实时监听电子设备是否有新应用安装操作；

当监听到有新应用安装操作，在新应用安装过程中调用应用程序管理服务对新应用进行解析，获得新应用的应用信息，并将新应用的应用信息存储在控件数据库。

本申请实施例中，该装置还用于：

通过监听器实时监听电子设备是否有应用卸载操作；

当监听到有应用卸载操作时，在应用卸载过程中调用应用程序管理服务对卸载应用进行解析，获得卸载应用的应用信息，并根据卸载应用的应用信息，从控件数据库删除卸载应用的应用信息。

本申请实施例在控制语音输入时，通过第一获取单元11获取控制语音对应的数字信息，然后第一扫描单元12对电子设备的当前界面进行扫描操作，从而以获得当前界面对应的控件信息；并判断控件信息中是否包括有与数字信息对应的数字控件，若是，第一确定单元13则从控件信息中，确定与该数字信息对应的目标数字控件组，第一发送单元14并向目标数字控件组发送模拟按键控制指令，以对目标数字控件组进行模拟控制，从而在所见即所得的语音控制条件下，可以通过语音依次性输入多个数字信息，避免了通过语音只能等待前一个数字信息输入完毕后才能输入下一个数字信息的问题，有效提高通过语音输入数字信息的效率。

除了上述介绍用于界面控制方法与装置之外，本申请实施例还提供一种电子设备，其集成了本申请实施例所提供的任一种界面控制装置，该电子设备包括处理器、存储器以及存储于存储器中并可在该处理器上运行的计算机程序，该处理器执行该计算机程序以实现上述的界面控制方法中的步骤。

参阅图11，图11是本申请实施例提供的电子设备一个实施例结构示意图。

如图11所示，其示出了本申请实施例所设计的电子设备的结构示意图，具体来讲：

该电子设备可以包括处理器101、存储器102以及存储于存储器102中并可在处理器上运行的计算机程序。

本领域技术人员可以理解，图11中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器101是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器102内的计算机程序，以及调用存储在存储器102的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器101可包括一个或多个处理核心；优选的，处理器101可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和计算机程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器101中。

存储器102可用于存储计算机程序以及模块，处理器101通过运行存储在存储器102的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器102可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器102还可以包括存储器控制器，以提供处理器101对存储器102的访问。

电子设备还包括给各个部件供电的电源103，优选的，电源103可以通过电源管理系统与处理器101逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源103还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元104，该输入单元104可用于接收输入的数字或信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本申请实施例中，电子设备中的处理器101会按照如下的指令，将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器102中，并由处理器101来运行存储在存储器102中的计算机程序，从而实现各种功能，如下：

获取控制电子设备的控制语音对应的数字信息；对电子设备的当前界面执行扫描操作，以获得当前界面对应的控件信息；从控件信息中，确定与数字信息对应的目标数字控件组；向目标数字控件组发送模拟按键控制指令，以对目标数字控件组进行模拟控制。

本申请实施例在控制语音输入时，获取控制语音对应的数字信息，然后对电子设备的当前界面进行扫描操作，从而以获得当前界面对应的控件信息；并判断控件信息中是否包括有与数字信息对应的数字控件，若是，则从控件信息中，确定与该数字信息对应的目标数字控件组，并向目标数字控件组发送模拟按键控制指令，以对目标数字控件组进行模拟控制，从而在所见即所得的语音控制条件下，可以通过语音依次性输入多个数字信息，避免了通过语音只能等待前一个数字信息输入完毕后才能输入下一个数字信息的问题，有效提高通过语音输入数字信息的效率。

为此，本申请实施例提供一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行以实现本申请实施例所提供的任一种界面控制方法中的步骤。其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read OnlyMemory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。例如，该计算机程序可以执行如下步骤：

获取控制电子设备的控制语音对应的数字信息；对电子设备的当前界面执行扫描操作，以获得当前界面对应的控件信息；从控件信息中，确定与数字信息对应的目标数字控件组；向目标数字控件组发送模拟按键控制指令，以对目标数字控件组进行模拟控制。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上对本申请实施例所提供的一种界面控制方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种界面控制方法，其特征在于，包括：

获取控制电子设备的控制语音对应的数字信息；

对所述电子设备的当前界面执行扫描操作，以获得当前界面对应的控件信息；

从所述控件信息中，确定与所述数字信息对应的目标数字控件组；

向所述目标数字控件组发送模拟按键控制指令，以对所述目标数字控件组进行模拟控制。

2.根据权利要求1所述的方法，其特征在于，所述对所述电子设备的当前界面执行扫描操作，以获得当前界面对应的控件信息，包括：

向预设的应用程序管理服务发送通知，以通过所述应用程序管理服务调用预设的界面扫描服务；

通过所述界面扫描服务对所述电子设备的当前界面执行扫描操作，以获得所述当前界面对应的控件信息。

3.根据权利要求2所述的方法，其特征在于，所述通过所述界面扫描服务对所述电子设备的当前界面执行扫描操作，以获得所述当前界面对应的控件信息，包括：

通过所述界面扫描服务对所述电子设备的当前界面执行扫描操作，得到所述当前界面的布局信息；

对所述布局信息进行解析，以获得所述当前界面对应的控件信息。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述数字信息包括数字长度，所述控件信息包括文本显示控件、以及与所述文本显示控件对应的按钮控件；

所述从所述控件信息中，确定与所述数字信息对应的目标数字控件组，包括：

确定所述当前界面对应的控件信息中的文本显示控件；

基于所述数字长度，依次判断所述文本显示控件和所述数字信息是否匹配；

依次保存所述文本显示控件和所述数字信息匹配的按钮控件，得到目标数字控件组。

5.根据权利要求4所述的方法，其特征在于，在向所述目标数字控件组发送模拟按键控制指令，以对所述目标数字控件组进行模拟控制之前，所述方法还包括：

从预建立的控件数据库中获取与所述目标数字控件组对应的界面位置信息；

所述向所述目标数字控件组发送模拟按键控制指令，以对所述目标数字控件组进行模拟控制，包括：

根据所述界面位置信息，向所述目标数字控件组发送模拟按键控制指令，以对所述目标数字控件组进行模拟控制。

6.根据权利要求5所述的方法，其特征在于，所述获取控制电子设备的控制语音对应的数字信息，包括：

获取控制电子设备的控制语音；

将所述控制语音转化为文本信息；

对所述文本信息进行分割处理，得到多个文本分割单元；

从所述多个文本分割单元中，选取连续的且达到预设长度要求的数字文本，得到所述控制语音对应的数字信息。

7.根据权利要求6所述的方法，其特征在于，所述获取控制电子设备的控制语音对应的数字信息之前，所述方法还包括：

调用应用程序管理服务，获取所述电子设备上已安装应用的应用程序文件；

通过反汇编工具对所述应用程序文件进行反汇编，得到应用程序资源文件；

解析各个所述应用程序资源文件，获得每一个应用程序的应用信息；其中，所述应用信息包括应用包名、应用界面包名以及应用界面的控件信息；

根据所述应用信息，建立所述控件数据库。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

通过监听器实时监听所述电子设备是否有新应用安装操作；

当监听到有新应用安装操作，在新应用安装过程中调用所述应用程序管理服务对所述新应用进行解析，获得所述新应用的应用信息，并将所述新应用的应用信息存储在所述控件数据库。

9.根据权利要求7所述的方法，其特征在于，所述方法还包括：

通过监听器实时监听所述电子设备是否有应用卸载操作；

当监听到有应用卸载操作时，在应用卸载过程中调用所述应用程序管理服务对卸载应用进行解析，获得所述卸载应用的应用信息，并根据所述卸载应用的应用信息，从所述控件数据库删除所述卸载应用的应用信息。

10.一种界面控制装置，其特征在于，包括：

第一获取单元，用于获取控制电子设备的控制语音对应的数字信息；

第一扫描单元，用于对所述电子设备的当前界面执行扫描操作，以获得所述当前界面对应的控件信息；

第一确定单元，用于从所述控件信息中，确定与所述数字信息对应的目标数字控件组；

第一发送单元，用于向所述目标数字控件组发送模拟按键控制指令，以对所述目标数字控件组进行模拟控制。

11.一种电子设备，其特征在于，所述电子设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现权利要求1至9中任一项所述的界面控制方法中的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至9任一项所述的界面控制方法中的步骤。

Images