CN111475216A - 一种app的语音控制方法、计算机存储介质及电子设备 - Google Patents

Abstract

本发明提供了一种APP的语音控制方法、计算机存储介质及电子设备。该APP的语音控制方法包括获取APP的语音控制关系表，语音控制关系表包含APP的控制事件与控制标识的对应关系；获取语音信号，对语音信号进行识别得到语音识别结果；将语音识别结果与控制标识进行匹配，得到与语音识别结果匹配的控制标识；根据与语音识别结果匹配的控制标识和语音控制关系表得到与语音信号对应的控制事件；根据控制事件控制APP。通过和已绑定的APP建立进程间的通信，并根据匹配的控制事件控制APP，减少了用户打开语音唤醒的步骤，减少了用户的操作，提高了用户体验。

Description

一种APP的语音控制方法、计算机存储介质及电子设备

技术领域

本发明涉及语音控制技术领域，特别是涉及一种APP的语音控制方法、计算机存储介质及电子设备。

背景技术

当前，通过语音控制应用程序(Application，简称APP)的方式已经普遍存在。用户在使用语音控制应用程序的功能时，需要打开语音唤醒以开启语音控制功能。然而，用户打开语音唤醒的步骤比较繁琐，增加了用户的操作，无法满足用户体验。并且，还需要根据应用程序的控制事件定制对应的文本描述，从而将语音信号的识别结果和定制的文本描述匹配，无法满足用户体验。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种APP的语音控制方法、计算机存储介质及电子设备。

本发明的一个目的是要提供一种减少用户操作的APP的语音控制方法。

进一步地，本发明的另一个目的是要提供一种自动获取应用程序的控制事件对应的文本描述的APP的语音控制方法。

特别地，本发明提供了一种APP的语音控制方法，包括：

获取APP的语音控制关系表，语音控制关系表包含APP的控制事件与控制标识的对应关系；

获取语音信号，对语音信号进行识别得到语音识别结果；

将语音识别结果与控制标识进行匹配，得到与语音识别结果匹配的控制标识；

根据与语音识别结果匹配的控制标识和语音控制关系表得到与语音信号对应的控制事件；

根据控制事件控制APP。

可选地，获取APP的语音控制关系表包括：

获取APP预置的语音控制关系表；或

获取APP包含的控制事件以及控制事件对应的控制标识；

根据控制事件与控制标识的对应关系建立语音控制关系表。

可选地，获取APP包含的控制事件以及控制事件对应的控制标识包括：

查询APP中包含的控件；

获取控件包含的控制事件以及控制事件对应的控制标识。

可选地，查询APP中包含的控件包括；

查询APP的当前显示界面中包含的控件。

可选地，控件为具有交互功能的控件；

控制事件为响应用户操作的控制事件。

可选地，获取APP包含的控制事件以及控制事件对应的控制标识包括：

获取指定APP列表中的APP包含的控制事件以及控制事件对应的控制标识。

可选地，指定APP列表的建立步骤包括：

获取APP的唯一标识；

建立包含APP的唯一标识的指定APP列表，APP的唯一标识为APP的包名。

可选地，控制标识包括文字和/或图案。

基于同一构思，本发明还提供了一种计算机存储介质。计算机存储介质存储有计算机程序代码。当计算机程序代码在计算设备上运行时，导致计算设备执行上述任一项实施例的APP的语音控制方法。

基于同一构思，本发明还提供了一种电子设备。电子设备包括存储器和处理器。存储器内存储有控制程序。控制程序被处理器执行时用于实现上述任一项实施例的APP的语音控制方法。

本发明通过和已绑定的APP建立进程间的通信，并根据匹配的控制事件控制APP，减少了用户打开语音唤醒的步骤，减少了用户的操作，提高了用户体验。

进一步地，自动获取应用程序的控制事件和控制事件对应的控制标识，建立控制事件和控制标识的对应关系，从而避免了根据控制事件定制控制标识，提高了APP语音控制的智能化，提高了用户体验。

进一步地，由于只是查询APP的当前显示界面的控件，在根据语音信号识别结果匹配的过程中，也只是与当前显示界面的控制标识匹配，可以进一步的提高匹配效率，加快响应速度。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本发明一个实施例的APP的语音控制方法的流程图；

图2是根据本发明另一个实施例的APP的语音控制方法的流程图。

具体实施方式

图1是根据本发明一个实施例的一种APP(Application，应用程序)的语音控制方法的流程图。参见图1，APP的语音控制方法可包括以下步骤：

步骤S102：获取APP的语音控制关系表，语音控制关系表包含APP的控制事件与控制标识的对应关系。

步骤S104：获取语音信号，对语音信号进行识别得到语音识别结果。

步骤S106：将语音识别结果与控制标识进行匹配，得到与语音识别结果匹配的控制标识。

步骤S108：根据与语音识别结果匹配的控制标识和语音控制关系表得到与语音信号对应的控制事件。

步骤S110：根据控制事件控制APP。

在本发明的APP的语音控制方法实施例中，该方法可以应用于车载娱乐系统的APP的语音功能控制中，也可以应用于手机等其他终端设备的APP的语音功能控制中，本发明实施例对此不做具体的限定。控制标识可以为图案，也可以为文字。当控制标识为文字时，控制标识的数据类型可以为字符串类型。可以采用模糊匹配的方式将语音识别结果与控制标识进行匹配，也可以采用精确匹配的方式。在本实施例中，可以为APP提供进程间通信的开放接口软件开发工具包。在APP集成该开发工具包后，完成对APP的绑定，可以和APP建立进程间的通信。然后，根据语音识别结果匹配的控制标识和语音控制关系表得到与语音信号对应的控制事件，并根据控制事件控制APP。通过和已绑定的APP建立进程间的通信，并根据匹配的控制事件控制APP，减少了用户打开语音唤醒的步骤，减少了用户的操作，提高了用户体验。

在本发明一个实施例中，步骤S102中获取APP的语音控制关系表的方式可包括两种方式：

第一种方式：获取APP预置的语音控制关系表。

第二种方式：获取APP包含的控制事件以及控制事件对应的控制标识。然后，根据控制事件与控制标识的对应关系建立语音控制关系表。

在本实施例中，APP在集成开放接口软件开发工具包进行绑定的时候，还可以选择语音控制的类型。语音控制的类型可以分为第一控制类型和第二控制类型。其中，第一控制类型可以理解为普通控制类型，即无法自动建立APP的语音控制关系表，需要获取APP预先存储的语音控制关系表。第二控制类型可以理解为加强控制类型，即可以自动建立APP的语音控制关系表。第一种方式需要获取APP预置的语音控制关系表，因此，当采用第一种方式时，选择第一控制类型。第二种方式需要自动建立APP的语音控制关系表，因此，当采用第二种方式时，选择第二控制类型。

当APP集成开发工具包后，完成对APP的绑定，可以和APP建立进程间的通信。在与APP建立连接后，识别APP的语音控制的类型。若APP的控制类型为第一控制类型时，采用第一种方式获取APP的语音控制关系表。具体地，例如，获取APP预置的语音控制关系表。语音控制关系表包含APP的控制事件与控制标识的对应关系。之后，建立已获取的语音控制关系表和APP之间的对应关系，并将这种对应关系存储到数据库中。例如，存储在服务器的数据库中或者云端的数据库中。一般情况下，可以根据APP的唯一标识建立已获取的语音控制关系表和APP之间的对应关系。通过建立语音控制关系表和APP之间的对应关系，当APP的个数为多个的时候，可以根据对应关系找到每个APP对应的语音控制关系表。然后，遍历查询语音控制关系表中包含的控制事件和控制标识，并加载查询到的控制事件和控制标识。加载方式可以采用动态加载，当然，也可以选择其他加载方式，本发明实施例对此不做具体的限定。当语音控制关系表加载完成后，可以将语音信号识别结果和加载的语音控制关系表中的控制标识匹配，得到匹配的控制标识。之后，根据匹配的控制标识得到加载后的语音控制关系表中的控制事件。根据语音控制关系表和APP之间的对应关系将控制事件通过软件开发工具包中的协议接口发送至对应的APP。APP接收到控制事件后，执行接收的控制事件。

若APP的控制类型为第二控制类型时，采用第二种方式获取APP的语音控制关系表。具体地，例如，自动获取APP包含的控制事件以及控制事件对应的控制标识。然后，根据控制事件与控制标识的对应关系建立语音控制关系表。语音控制关系表包含APP的控制事件与控制标识的对应关系。通过自动获取APP包含的控制事件以及控制事件对应的控制标识，根据控制事件与控制标识的对应关系建立语音控制关系表，相对于根据APP的控制事件定制控制标识的方式，避免了定制语音控制关系表的过程，也避免了APP版本更新后重新定制语音控制关系表的过程，提高了APP的维护效率，也提高了APP语音控制的智能化。举例来说，现有技术中，当APP版本更新后，若APP中增加了新的控制功能，需要为新增加的功能定制控制标识。但是，本发明并不需要为新增加的功能定制控制标识，本发明可以获取到APP新增加的控制事件以及控制事件对应的控制标识，根据控制事件与控制标识的对应关系建立语音控制关系表。

另外，在一些其他实施例中，如果APP的语音控制类型为第一控制类型，在采用第一种方式获取到APP的语音控制关系表以及加载语音控制关系表后，根据语音识别结果控制APP还可以包括以下方式。具体地，例如，将语音识别结果和加载的语音控制关系表中的控制标识匹配，得到匹配的控制标识后，根据语音控制关系表和APP之间的对应关系将匹配的控制标识通过软件开发工具包中的协议接口发送至对应的APP。APP接收到控制标识后，根据预置的语音控制关系表得到与控制标识对应的控制事件，并执行控制事件。

在本发明一个实施例中，获取APP包含的控制事件以及控制事件对应的控制标识可包括以下方式：

查询APP中包含的控件。然后获取控件包含的控制事件以及控制事件对应的控制标识。APP的控制功能很多是通过控件来实现的，查询APP中包含的控件，获取控件中的控制事件以及控制事件对应的控制标识，可以提高获取控制事件的效率。

在本发明一个实施例中，查询APP中包含的控件可包括查询APP的当前显示界面中包含的控件。

在本实施例中，可以使用Android的辅助模式，实时监控APP的界面变化。查询APP的当前显示界面中包含的控件，相对于查询APP的各个显示界面的控件，减少了查询的工作量。由于只是查询的APP的当前显示界面的控件，在根据语音信号识别结果匹配的过程中，也只是与当前显示界面的控制标识匹配，可以进一步的提高匹配效率。并且，当APP的多个界面具有类似的控制标识的时候，查询APP的当前显示界面中包含的控件，根据语音信号识别结果匹配当前界面的控制标识的过程中，避免了和其他界面的控制标识匹配，提高了匹配的准确率。

当执行完APP当前界面的控制事件后，如果APP切换到了下一个界面，可以清除上一个界面的控制标识和控制事件。具体地，例如，APP从界面A切换到界面B后，可以清除A界面的控制事件和控制标识。采用清除已执行的上一个界面的控制标识和控制事件的方式，在将语音识别结果和控制标识匹配的过程中，可以避免与已执行完成的控制标识匹配，从而更加准确的匹配到用户通过语音信号需要控制的APP的控制事件，减少匹配的错误率。并且，将语音识别结果和控制标识匹配的时候，由于已执行的当前界面的控制标识已经清除，减少了获取到的控制标识的数量，也可以进一步提高匹配效率，加快了响应速度。

在本发明一个实施例中，控件可以为具有交互功能的控件。控制事件可以为响应用户操作的控制事件。

在本实施例中，APP中包含的控件一般可分为具有交互功能的控件和不具有交互功能的控件。不具有交互功能的控件一般无法接受语音的控制。控件中无法响应用户操作的控制事件一般也无法接收语音的控制。因此，查询具有交互功能的控件中包含的能够响应用户操作的控制事件可以避免查询一些无法接受语音控制的控制事件，从而提高查询效率。

在本发明一个实施例中，获取APP包含的控制事件以及控制事件对应的控制标识可以包括以下方式：可以获取指定APP列表中的APP包含的控制事件以及控制事件对应的控制标识。为了对不同语音控制类型的APP进行区分管理，可以将第二控制类型的APP存储到指定APP列表中。

在本实施例中，可以实时监控APP的界面变化，并判断发生界面变化的APP是否属于指定APP列表中的APP。具体地，例如可以使用Android的辅助模式，实时监控APP的界面变化。在Android辅助模式的时间回调监听中，实时判定当前界面是否属于指定APP列表中的APP。如果当前界面属于指定APP列表中的APP，则执行查询APP的当前显示界面中包含的控件的步骤。通过对不同语音控制类型的APP进行区分管理，可以提高语音控制APP的响应速度。

在本发明一个实施例中，指定APP列表的建立步骤可包括：

获取APP的唯一标识。然后，建立包含APP的唯一标识的指定APP列表。其中，APP的唯一标识为APP的包名。

在本实施例中，当与APP建立连接后，能够识别APP的语音控制类型。在上述实施例中已经介绍APP的语音控制类型可以分为第一控制类型和第二控制类型。如果APP的语音控制类型为第二控制类型，获取APP的唯一标识，并将获取的唯一标识存储到指定APP列表中。

在本发明一个实施例中，控制标识可包括文字和/或图案。

在本实施例中，在获取控制事件对应的控制标识的过程中，若控制标识为文本文字，识别文字信息，并将识别的文字信息结果作为控制标识。例如，文字信息为“暂停”、“上一首”和“下一首”等，可以将识别结果“暂停”、“上一首”和“下一首”作为控制标识。若控制标识为图案，还需要提取图案的信息，根据提取的图案的信息生成对应的文字。将生成的文字作为图案的属性标签。例如，购买车票的APP中，控制标识包括“火车图案”和“飞机图案”时，可以对图案的信息进行提取，并对提取的图案信息进行分析，分别得到“火车”、“飞机”的文字信息。将“火车”文字信息作为“火车图案”的属性标签。将“飞机”文字信息作为“飞机图案”的属性标签。当语音识别结果为火车时，可以匹配到“火车图案”的属性标签中的“火车”，进而得到控制事件。

以上介绍了本发明实施例提供的APP的语音控制方法的多种实现方式，下面将通过具体实施例来详细介绍本发明的APP的语音控制方法的实现过程。图2是根据本发明一个实施例的一种APP的语音控制方法的流程图。参见图2，APP的语音控制方法可包括以下步骤S202-步骤S222：

步骤S202：获取APP的语音控制类型。APP在集成开放接口软件开发工具包进行绑定的时候，还可以选择语音控制的类型。语音控制的类型可以分为第一控制类型和第二控制类型。其中，第一控制类型可以理解为普通控制类型，即无法自动建立APP的语音控制关系表，需要获取APP预先存储的语音控制关系表。第二控制类型可以理解为加强控制类型，即可以自动建立APP的语音控制关系表。如果获取的APP的语音控制类型为第二控制类型，执行步骤S204。如果控制类型为第一控制类型，执行步骤S222。

步骤S204：获取APP的唯一标识。唯一标识可以为APP的包名。

然后，执行步骤S206：建立包含APP的唯一标识的指定APP列表。

之后，执行步骤S208：查询指定APP列表中APP的当前显示界面中包含的控件。在执行步骤S208之前，可以实时监控APP的界面变化，并判断发生界面变化的APP是否属于指定APP列表中的APP。具体地，例如可以使用Android的辅助模式，实时监控APP的界面变化。在Android辅助模式的时间回调监听中，实时判定当前界面是否属于指定APP列表中的APP。如果当前界面属于指定APP列表中的APP，则执行步骤S208。

之后，执行步骤S210：获取控件包含的控制事件以及控制事件对应的控制标识。

步骤S212：根据控制事件与控制标识的对应关系建立语音控制关系表。之后，执行

步骤S214：获取语音信号，对语音信号进行识别得到语音识别结果。之后，执行

步骤S216：将语音识别结果与控制标识进行匹配，得到与语音识别结果匹配的控制标识。之后，执行

步骤S218：根据与语音识别结果匹配的控制标识和语音控制关系表得到与语音信号对应的控制事件。之后，执行

步骤S220：根据控制事件控制APP。当执行完步骤S220后，如果APP切换至下一个界面后，可以清除获取的上一个界面的控制标识和控制事件。

步骤S222：获取APP预置的语音控制关系表。之后，执行步骤S214至步骤S220。

通过和已绑定的APP建立进程间的通信，并根据匹配的控制事件控制APP，减少了用户打开语音唤醒的步骤，减少了用户的操作，提高了用户体验。只查询APP的当前显示界面中包含的控件，相对于查询APP的各个显示界面的控件，减少了查询的工作量。并且，由于只是查询的APP的当前显示界面的控件，在根据语音信号识别结果匹配的过程中，也只是与当前显示界面的控制标识匹配，可以进一步的提高匹配效率。另外，采用清除已执行的上一个界面的控制标识和控制事件的方式，在将语音识别结果和控制标识匹配的过程中，可以避免与已执行完成的控制标识匹配，从而更加准确的匹配到用户通过语音信号需要控制的APP的控制事件，减少匹配的错误率。并且，将语音识别结果和控制标识匹配的时候，由于已执行的当前界面的控制标识已经清除，减少了获取到的控制标识的数量，也可以进一步提高匹配效率，加快了响应速度。

基于同一构思，本发明还提供了一种计算机存储介质。计算机存储介质存储有计算机程序代码。当计算机程序代码在计算设备上运行时，导致计算设备执行上述任一项实施例的APP的语音控制方法。

基于同一构思，本发明还提供了一种电子设备。该电子设备包括存储器和处理器。存储器内存储有控制程序。控制程序被处理器执行时用于实现上述任一项实施例的APP的语音控制方法。

上述各个实施例可以任意组合，根据上述任意一个优选实施例或多个优选实施例的组合，本发明实施例能够达到如下有益效果：

通过和已绑定的APP建立进程间的通信，并根据匹配的控制事件控制APP，减少了用户打开语音唤醒的步骤，减少了用户的操作，提高了用户体验。查询APP的当前显示界面中包含的控件，相对于查询APP的各个显示界面的控件，减少了查询的工作量。由于只是查询的APP的当前显示界面的控件，在根据语音信号识别结果匹配的过程中，也只是与当前显示界面的控制标识匹配，可以进一步的提高匹配效率。并且，采用清除已执行的上一个界面的控制标识和控制事件的方式，在将语音识别结果和控制标识匹配的过程中，可以避免与已执行完成的控制标识匹配，从而更加准确的匹配到用户通过语音信号需要控制的APP的控制事件，减少匹配的错误率。并且，将语音识别结果和控制标识匹配的时候，由于已执行的当前界面的控制标识已经清除，减少了获取到的控制标识的数量，也可以进一步提高匹配效率，加快了响应速度。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种APP的语音控制方法，包括：

获取APP的语音控制关系表，所述语音控制关系表包含所述APP的控制事件与控制标识的对应关系；

获取语音信号，对所述语音信号进行识别得到语音识别结果；

将所述语音识别结果与所述控制标识进行匹配，得到与所述语音识别结果匹配的控制标识；

根据与所述语音识别结果匹配的控制标识和所述语音控制关系表得到与所述语音信号对应的控制事件；

根据所述控制事件控制所述APP。

2.根据权利要求1所述的APP的语音控制方法，其特征在于，所述获取APP的语音控制关系表包括：

获取APP预置的语音控制关系表；或

获取APP包含的控制事件以及所述控制事件对应的控制标识；

根据所述控制事件与所述控制标识的对应关系建立所述语音控制关系表。

3.根据权利要求2所述的APP的语音控制方法，其特征在于，所述获取APP包含的控制事件以及所述控制事件对应的控制标识包括：

查询所述APP中包含的控件；

获取所述控件包含的控制事件以及所述控制事件对应的控制标识。

4.根据权利要求3所述的APP的语音控制方法，其特征在于，所述查询所述APP中包含的控件包括；

查询所述APP的当前显示界面中包含的控件。

5.根据权利要求3所述的APP的语音控制方法，其特征在于，

所述控件为具有交互功能的控件；

所述控制事件为响应用户操作的控制事件。

6.根据权利要求2所述的APP的语音控制方法，其特征在于，所述获取APP包含的控制事件以及所述控制事件对应的控制标识包括：

获取指定APP列表中的APP包含的控制事件以及所述控制事件对应的控制标识。

7.根据权利要求6所述的APP的语音控制方法，其特征在于，所述指定APP列表的建立步骤包括：

获取APP的唯一标识；

建立包含所述APP的唯一标识的指定APP列表，所述APP的唯一标识为所述APP的包名。

8.根据权利要求1所述的APP的语音控制方法，其特征在于，

所述控制标识包括文字和/或图案。

9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行根据权利要求1-8中任一项所述的APP的语音控制方法。

10.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器内存储有控制程序，所述控制程序被所述处理器执行时用于实现根据权利要求1-8中任一项所述的APP的语音控制方法。

Images