CN112732379B - 智能终端上应用程序的运行方法、终端和存储介质 - Google Patents

Abstract

本发明实施例提供一种智能终端上应用程序的运行方法、终端和存储介质，智能终端至少包括一个服务项，服务项中包括指令生成模块、位置确定模块、动作执行模块，方法包括：指令生成模块接收语音指令，并将语音指令转化为控制指令，语音指令被配置有的文本指令，文本指令被配置有指令标识图像；位置确定模块无法通过语音指令确定待运行的应用程序在智能终端的当前屏幕中的程序位置坐标的情况下，通过指令标识图像确定程序位置坐标；动作执行模块根据所述程序位置坐标对待运行的应用程序执行控制指令。本发明实施例提供的方法、终端和存储介质，无需应用开发者将用于语音控制的软件开发工具包集成到应用中，即可实现第三方应用的语音控制。

Description

智能终端上应用程序的运行方法、终端和存储介质

技术领域

本发明涉及语音控制技术领域，尤其涉及一种智能终端上应用程序的运行方法、终端和存储介质。

背景技术

在智能移动终端上运行的应用(Application，APP)，通常需要用户手动操作来实现对应用的控制，例如通过点击触摸屏来操控应用的控件。然而，在一些应用场合中，通过手动操作来控制应用会存在一定的不便。例如用户处于驾驶等双手被占用的状态时，若通过手动操作来控制导航软件，特别是输入文字等较为复杂的手动操作时，容易分散用户精力，带来安全隐患。因此，需要一种基于语音的应用控制方法，克服手动操作带来的不便性。

现有的应用控制方式，通常需要在待控制的应用内部集成用于语音操作的SDK(Software Development Kit，软件开发工具包)，以实现对应用的语音操控。然而，对于目前的多数第三方应用，并未事先集成用于语音操作的SDK，也很难往第三方应用中安装用于语音控制的插件，因此无法实现第三方应用的语音控制，限制了基于语音的应用控制方法的适用范围。

发明内容

本发明实施例提供一种智能终端上应用程序的运行方法、终端和存储介质，用以解决现有技术中针对第三方应用的语音控制无法实现的缺陷。

本发明实施例提供一种智能终端上应用程序的运行方法，所述智能终端至少包括一个服务项，所述服务项中包括指令生成模块、位置确定模块、动作执行模块，所述方法包括：

所述指令生成模块接收向智能终端进行输入的语音指令，并将所述语音指令转化为控制指令，其中，所述语音指令被配置有对应的文本指令，所述文本指令被配置有对应的指令标识图像；

所述位置确定模块无法通过语音指令确定待运行的应用程序在所述智能终端的当前屏幕中的程序位置坐标的情况下，所述位置确定模块通过所述指令标识图像确定待运行的应用程序在所述智能终端的当前屏幕中的程序位置坐标；

所述动作执行模块根据所述程序位置坐标对所述待运行的应用程序执行所述控制指令。

根据本发明一个实施例的智能终端上应用程序的运行方法，在所述应用程序被所述控制指令启动之后，所述位置确定模块通过所述指令标识图像确定待执行控件在智能终端的当前屏幕中的控件位置坐标；

所述动作执行模块根据所述控件位置坐标对所述应用程序中的待执行控件执行所述控制指令。

根据本发明一个实施例的智能终端上应用程序的运行方法，所述服务项还包括目标控件确定模块，所述方法还包括：

若存在所述文本指令对应的指令标识图像，则所述目标控件确定模块将所述指令标识图像与当前屏幕中执行的应用程序中的各个控件的控件标识图像进行匹配，将与所述指令标识图像匹配的控件标识图像对应的控件作为待执行的控件；

所述位置确定模块确定所述待执行控件的控件位置坐标。

根据本发明一个实施例的智能终端上应用程序的运行方法，所述方法还包括：

若不存在所述文本指令对应的指令标识图像，则所述目标控件确定模块将所述文本指令与当前屏幕中执行的应用程序中的各个控件的控件标识文本进行匹配，将与所述文本指令匹配的控件标识文本对应的控件作为待执行的控件。

根据本发明一个实施例的智能终端上应用程序的运行方法，所述目标控件确定模块将所述文本指令与当前屏幕中执行的应用程序中的各个控件的控件标识文本进行匹配，包括：

所述目标控件确定模块将所述文本指令与文本控件信息集合中的控件标识文本进行匹配；

若所述文本控件信息集合中不存在与所述文本指令匹配的控件标识文本，则所述目标控件确定模块将所述文本指令与图像控件信息集合中的图像转换文本进行匹配，所述图像转换文本是对所述图像控件信息集合中的控件标识图像进行文本识别得到的；

所述图像控件信息集合是基于自身不包含文本的控件构建的，所述文本控件信息集合是基于自身包含文本的控件构建的。

根据本发明一个实施例的智能终端上应用程序的运行方法，所述目标控件确定模块将所述文本指令与文本控件信息集合中的控件标识文本进行匹配，包括：

所述目标控件确定模块基于所述文本指令与任一控件标识文本之间的相互包含关系，以及所述文本指令与所述任一控件标识文本的字符数，确定所述文本指令与所述任一控件标识文本之间的相似度；

所述目标控件确定模块基于所述文本指令与各个控件标识文本之间的相似度，确定所述文本指令与各个控件标识文本之间的匹配结果。

根据本发明一个实施例的智能终端上应用程序的运行方法，所述目标控件确定模块将所述指令标识图像与当前屏幕中执行的应用程序中的各个控件的控件标识图像进行匹配，包括：

所述目标控件确定模块将所述指令标识图像与图像控件信息集合中的控件标识图像进行匹配；

若所述图像控件信息集合中不存在与所述指令标识图像匹配的控件标识图像，则所述目标控件确定模块将所述指令标识图像与文本控件信息集合中的控件标识图像进行匹配；

所述图像控件信息集合是基于自身不包含文本的控件构建的，所述文本控件信息集合是基于自身包含文本的控件构建的。

根据本发明一个实施例的智能终端上应用程序的运行方法，所述文本控件信息集合与所述图像控件信息集合是基于如下步骤确定的：

若接收到当前屏幕执行的应用程序的应用界面发生变化的触发事件，则扫描所述应用界面上的所有控件，确定所有控件的控件信息，所述控件信息包括控件标识图像和位置信息，或包括控件标识文本、控件标识图像和位置信息；

若任一控件的控件信息中包含控件标识文本，则将所述任一控件的控件信息存入所述文本控件信息集合；

否则，将所述任一控件的控件信息存入所述图像控件信息集合。

根据本发明一个实施例的智能终端上应用程序的运行方法，所述服务项还包括指令标识确定模块，所述方法还包括：

所述指令标识确定模块将所述文本指令发送至服务端，并接收所述服务端返回的所述文本指令对应的指令标识图像。

本发明实施例还提供一种智能设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述智能终端上应用程序的运行方法的步骤。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述智能终端上应用程序的运行方法的步骤。

本发明实施例提供的智能终端上应用程序的运行方法、终端和存储介质，基于语音指令的文本指令对应的指令标识图像，定位待运行的应用程序的位置信息，进而模拟控制行为进行应用控制。位置信息的获取基于指令标识图像，可以将语音控制的功能从应用中解耦，因此无需应用开发者将用于语音控制的软件开发工具包集成到应用中，即可实现第三方应用的语音控制，并且提高了语音控制的灵活性和准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种智能终端上应用程序的运行方法的流程示意图；

图2是本发明实施例提供的一种智能终端的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在汽车驾驶、家居生活等多个领域中，对通过语音方式来控制应用有着广泛的需求。但对于目前的多数应用，应用开发者并未在应用内部集成语音控制的方式，限制了这些应用的适用场景。例如IOS系统中，虽然提供了通过Siri的语音交互方式，例如用户通过Siri让Apple Music播放音乐。但Siri仅能控制苹果公司自己开发的功能，对于第三方公司开发的应用，Siri只能打开应用，不能对应用内部的功能做进一步操作。如果要通过Siri做更多的操作，需要第三方应用的开发者自行接入Siri接口，完成大量的接入开发，费时费力。又例如在安卓(Android)系统中，在应用内部未事先集成用于语音操作的SDK的前提下，也不存在能够直接对应用进行操控的功能。

本发明实施例提供了一种智能终端上应用程序的运行方法，该方法的执行主体可以是智能终端，具体可以是智能终端的处理系统，或者智能终端中装载的实现语音控制的插件等，此处的智能终端可以是智能手机、平板电脑或者智能手环等。图1为本发明实施例提供的智能终端上应用程序的运行方法的流程示意图，如图1所示，所述智能终端至少包括一个服务项，所述服务项中包括指令生成模块、位置确定模块、动作执行模块，所述方法包括：

步骤110，指令生成模块接收向智能终端进行输入的语音指令，并将语音指令转化为控制指令，其中，语音指令被配置有对应的文本指令，文本指令被配置有对应的指令标识图像；

步骤120，位置确定模块无法通过语音指令确定待运行的应用程序在智能终端的当前屏幕中的程序位置坐标的情况下，位置确定模块通过指令标识图像确定待运行的应用程序在智能终端的当前屏幕中的程序位置坐标；

步骤130，动作执行模块根据程序位置坐标对待运行的应用程序执行所述控制指令。

具体地，服务项为智能终端后台运行的程序代码，执行该程序代码，可以实现控制第三方应用程序的功能。其中，服务项包括指令生成模块、位置确定模块和动作执行模块，指令生成模块、位置确定模块和动作执行模块均为程序代码中的具备对应功能的程序代码模块。

基于上述服务项，该方法的执行具体包括如下步骤：

首先，指令生成模块接收用户向智能终端进行输入的语音指令，此处，语音指令即用户以语音的形式发出的控制命令，语音指令可以是智能终端内置的音频采集设备采集得到的。指令生成模块对其进行语义识别，将语音指令转化为可以直接执行的控制指令。具体而言，在用户利用系统预设的唤醒语句，例如“你好，小智”，唤醒智能智能终端后，系统内存中常驻运行的Service服务会录制用户的语音指令。其中，Service服务为一个与第三方应用相互独立的服务。用户的语音指令录制完成后，Service服务会对其进行语义识别，将语音指令中包含的控制意图转换为可直接执行的代码，从而得到待执行的控制指令。

此外，在采集得到语音指令后，可以通过语音识别得到语音指令对应的文本指令，此处的文本指令可以实现对语音指令中包含的控制意图的文本形式的表示，文本指令中包含了需要执行的动作和具体执行的目标实体，例如文本指令为“打开音乐软件”，其中“打开”即需要执行的动作，“音乐软件”即具体执行的目标实体。

另外，在得到文本指令之后，可以判断是否存在文本指令相对应的指令标识图像。此处，指令标识图像可以是智能终端内置的某个应用程序或者某个应用程序中的某个控件的图标，文本指令和指令标识图像之间的对应关系可以是预先设置好的，用于反映文本指令中包含的控制意图实际对应的待控制的应用程序或者应用程序内部控件的信息，例如文本指令“打开音乐软件”对应的指令标识图像可以是音乐软件的图标，文本指令“我要视频聊天”对应的指令标识图像可以是聊天软件的图标。此处，具体判断是否存在文本指令相对应的指令标识图像时，可以是在智能终端本地查询是否存在文本指令对应的指令标识图像，也可以是将文本指令传递至服务端，由服务端查询是否存在文本指令对应的指令标识图像，本发明实施例对此不作具体限定。

考虑到语音指令与待运行的应用程序之间不一定建立有直接的对应关系，因此存在位置确定模块无法通过语音指令确定待运行的应用程序在智能终端的当前屏幕中的程序位置坐标的情况。针对这种情况，位置确定模块可以将指令标识图像与预先存储的智能终端的当前屏幕中各个应用程序的程序标识图像进行匹配，此处的匹配即指令标识图像与程序标识图像之间的图像匹配，可以通过openCV的模板或者其它类似算法实现，本发明实施例对此不作具体限定。若匹配成功，即可以确定待运行的应用程序即与指令标识图像相匹配的程序标识图像的应用程序即待运行的应用程序，从而确定待运行的应用程序在当前屏幕中的程序位置坐标。此处的位置信息具体可以是通过四个CCS属性样式反映的控件定位属性，此处的四个属性可以是left、right、top和bottom。

在得到待运行的应用程序的程序位置信息后，动作执行模块即可利用智能终端系统提供的触摸面板接口，如Touch Panel接口，生成对应该位置的模拟点击行为，由此实现基于语音指令的应用控制。

本发明实施例提供的方法，基于语音指令的文本指令对应的指令标识图像，定位待运行的应用程序的位置信息，进而模拟控制行为进行应用控制。位置信息的获取基于指令标识图像，可以将语音控制的功能从应用中解耦，因此无需应用开发者将用于语音控制的软件开发工具包集成到应用中，即可实现第三方应用的语音控制，并且提高了语音控制的灵活性和准确性。

此外，本发明实施例提供的方法，应用预先构建的文本指令与指令标识图像之间的对应关系，基于指令标识图像定位待运行的应用程序，能够有效兼容标识图像中不包含文本信息的应用程序，提高定位成功的几率，保证语音控制的可行性。

基于上述任一实施例，步骤130之后还包括：

位置确定模块通过指令标识图像确定待执行控件在智能终端的当前屏幕中的控件位置坐标；

动作执行模块根据控件位置坐标对所述应用程序中的待执行控件执行控制指令。

具体地，位置确定模块可以将指令标识图像与预先存储的该应用程序在智能终端的当前屏幕中的各个控件的控件标识图像进行匹配，此处的匹配即指令标识图像与控件标识图像之间的图像匹配。如果匹配到控件标识图像，则可以确定匹配到的控件标识图像实际对应的控件，也就是语音指令所包含的控制意图实际指示的控件，进而得到预先存储的该控件的控件位置信息。

在得到对应控件的控件位置信息后，动作执行模块即可利用智能终端系统提供的触摸面板接口，生成对应该位置的模拟点击行为，由此实现基于语音指令的应用控制。例如，可以根据目标点击控件的当前位置，生成MotionEvent事件，模拟产生触摸事件，并发出点击行为，实现该目标点击控件的控制。若目标点击控件的当前位置以边框坐标的形式表示，则可以基于边框坐标，计算该控件的中心点坐标，再根据中心点坐标生成模拟点击行为。

基于上述任一实施例，服务项还包括目标控件确定模块，方法还包括：

若存在文本指令对应的指令标识图像，则目标控件确定模块将指令标识图像与当前屏幕中执行的应用程序中的各个控件的控件标识图像进行匹配，将与指令标识图像匹配的控件标识图像对应的控件作为待执行的控件；

所述位置确定模块确定待执行控件的控件位置坐标。

具体地，目标控件确定模块在获知存在文本指令对应的指令标识图像时，可以将指令标识图像与预先存储的该应用程序在智能终端的当前屏幕中的各个控件的控件标识图像进行匹配，此处的匹配即指令标识图像与控件标识图像之间的图像匹配。如果匹配到控件标识图像，则可以确定匹配到的控件标识图像实际对应的控件，也就是语音指令所包含的控制意图实际指示的控件，作为待执行的控件。

在此基础上，位置确定模块确定待执行控件的控件位置坐标，从而实现控件的模拟点击。

本发明实施例提供的方法，基于语音指令的文本指令对应的指令标识图像，定位意图控制控件的控件位置信息，进而生成模拟点击行为进行应用控制。位置信息的获取基于指令标识图像与预先存储的控件标识图像进行匹配实现的，而控件标识图像可以来自任何第三方应用，因而将语音控制的功能从应用中解耦，因此无需应用开发者将用于语音控制的软件开发工具包集成到应用中，即可实现第三方应用的语音控制，并且提高了语音控制的灵活性和准确性。

基于上述实施例，步骤130之后还包括：

若不存在文本指令对应的指令标识图像，则目标控件确定模块将文本指令与预先存储的当前屏幕中执行的应用程序中的各个控件的控件标识文本进行匹配；确定与文本指令匹配的控件标识文本对应控件的控件位置信息。

具体地，在得到文本指令之后，可以判断是否存在文本指令相对应的指令标识图像。针对于未能检测到文本指令相对应的指令标识图像的情况，本发明实施例中目标控件确定模块不再将指令标识图像应用于图像匹配和控件定位，而是直接将文本指令本身作为待匹配的文本，与预先存储的当前运行的应用程序中各个控件的控件标识文本进行匹配，从而实现控件定位。

此处，控件标识文本即控件本身携带的文本，多数控件为了方便辨识，会在直接显示该控件的名称或者用途，例如音乐软件中的播放列表界面下设置有歌曲、专辑、歌单等控件，每个控件均直接显示对应的名称“歌曲”、“专辑”、“歌单”，以提示用户根据歌曲、专辑或者歌单排列播放，其中“歌曲”、“专辑”、“歌单”均为对应控件的控件标识文本。

进一步地，文本匹配可以通过计算文本指令和控件标识文本在语义层面上的相似度，或者计算文本指令和控件标识文本在文字、用词层面上的相似度实现，本发明实施例对此不作具体限定。

由此可以得到与文本指令像匹配的控件标识文本，从而确定匹配到的控件标识文本实际对应的控件，也就是语音指令所包含的控制意图实际指示的控件，进而得到预先存储的该控件的控件位置信息。

本发明实施例提供的方法，在预先设定的文本指令与指令标识图像之间的对应关系不能满足实际应用需求时，还可以基于文本匹配定位控件，从而实现灵活便捷的应用控制。

基于上述任一实施例，所述目标控件确定模块将文本指令与当前屏幕中执行的应用程序中的各个控件的控件标识文本进行匹配，包括：

目标控件确定模块将文本指令与文本控件信息集合中的控件标识文本进行匹配；若文本控件信息集合中不存在与语音识别匹配的控件标识文本，则目标控件确定模块将文本指令与图像控件信息集合中的图像转换文本进行匹配，图像转换文本是对图像控件信息集合中的控件标识图像进行文本识别得到的；图像控件信息集合是基于自身不包含文本的控件构建的，文本控件信息集合是基于自身包含文本的控件构建的。

具体地，考虑到第三方应用风格迥异，其中包含的控件风格也截然不同，一些应用处于美观性的考虑，会将其中包含的控件风格化、图标化，仅应用控件包含的控件标识图像来标识控件，而刻意删除用于说明控件名称或者用途的控件标识文本，例如音乐软件中的播放控件通常直接用播放图标表示，而不再另外标注“播放”字样。由此，预先存储的当前屏幕中执行的应用程序的各个控件的控件标识文本可以划分为两个集合分别存储，即图像控件信息集合和文本控件信息集合，其中图像控件信息集合用于存储图标化后自身不包含控件标识文本的控件的相关信息，文本控件信息集合用于存储自身包含控件标识文本的控件的相关信息，在控件信息存储时，可以根据该控件中是否包含控件标识文本选择该控件实际对应的集合并存储相关控件信息。

在进行文本匹配时，可以优先将文本指令与文本控件信息集合中存储的各个控件的控件标识文本进行匹配，如果匹配到控件标识文本，则可以直接确定匹配到的控件标识文本实际对应的控件；

如果未在文本控件集合中匹配到控件标识文本，则对图像标识信息集合中的各个控件的控件标识图像进行文本识别，从而得到图像标识信息集合中的各个控件的图像转换文本，此处的文本识别可以通过OCR(Optical Character Recognition，光学字符识别)实现，也可以通过其他预先训练得到的文本识别模型实现。接着，将文本指令与图像标识信息集中的各个控件的图像转换文本分别进行匹配，如果匹配到图像转换文本，则可以直接确定匹配到的图像转换文本实际对应的控件。

基于上述任一实施例，所述目标控件确定模块将文本指令与文本控件信息集合中的控件标识文本进行匹配，包括：

目标控件确定模块基于文本指令与任一控件标识文本之间的相互包含关系，以及文本指令与该控件标识文本的字符数，确定文本指令与该控件标识文本之间的相似度；基于文本指令与各个控件标识文本之间的相似度，确定文本指令与各个控件标识文本之间的匹配结果。

具体地，在对文本指令与文本控件信息集合中的任一控件标识文本进行匹配时，可以首先确定两者之间是否存在相互包含的关系，具体可以是文本指令包含在控件标识文本中，或者控件标识文本包含在文本指令中：

如果两者之间存在相互包含的关系，则根据两者各自的字符数，计算两者之间的相似度，例如可以将较长的字符数与较短的字符数之间的差值作为两者之间的相似度，由此得到的相似度值越小，文本指令和控件标识文本越相似。

如果两者之间不存在相互包含的关系，则无需执行后续步骤，即不再计算两者之间的相似度。

由此可以得到与文本指令之间存在相互包含关系的所有控件标识文本的相似度，在此基础上，可以选取相似度值最小的控件标识文本作为与文本指令匹配的控件标识文本，如果相似度值最小的控件标识文本有多个，则可以根据多个控件标识文本在文本控件信息集合中的排序，选取排序靠前的控件标识文本作为与文本指令匹配的控件标识文本，此处文本控件信息集合中的排序可以是基于各个控件标识文本对应控件的触发频率确定的。

如果不存在与文本指令之间存在相互包含关系的控件标识文本，或者与文本指令之间存在相互包含关系的控件标识文本的相似度值较高，大于预先设定的相似度阈值，则可以确定文本控件信息集合中不存在与文本指令匹配的控件标识文本。

例如，假设文本指令为targetText，文本控件信息集合textList中的任一控件标识文本为text，两者之间的相似度值可以记为same，表示相互包含关系下两个文本的字符数差的绝对值，若same≤2，则将text及其对应的same值存入匹配结果列表，否则不加入匹配结果列表。在计算完targetText与文本控件信息集合textList中的所有控件标识文本text之间的same值之后，可以从匹配结果列表中选取same值最小的text作为与targetText匹配的空间标识文本，将其对应的控件作为语音指令所包含的控制意图实际指示的控件。

此外，上述文本匹配方法还可以应用在文本控件信息集合中不存在与文本指令匹配的控件标识文本的情况下，以实现文本指令与图像控件信息集合中各个图像转换文本之间的匹配，此处不再赘述。

基于上述任一实施例，所述目标控件确定模块将指令标识图像与预先存储的各个应用中各个控件的控件标识图像进行匹配，包括：

目标控件确定模块将指令标识图像与图像控件信息集合中的控件标识图像进行匹配；若图像控件信息集合中不存在与指令标识图像匹配的控件标识图像，则目标控件确定模块将指令标识图像与文本控件信息集合中的控件标识图像进行匹配；图像控件信息集合是基于自身不包含文本的控件构建的，文本控件信息集合是基于自身包含文本的控件构建的。

具体地，考虑到第三方应用风格迥异，其中包含的控件风格也截然不同，一些应用处于美观性的考虑，会将其中包含的控件风格化、图标化，仅应用控件包含的控件标识图像来标识控件，而刻意删除用于说明控件名称或者用途的控件标识文本，例如音乐软件中的播放控件通常直接用播放图标表示，而不再另外标注“播放”字样。由此，预先存储的各个应用中各个控件的控件标识文本可以划分为两个集合分别存储，即图像控件信息集合和文本控件信息集合，其中图像控件信息集合用于存储图标化后自身不包含控件标识文本的控件的相关信息，文本控件信息集合用于存储自身包含控件标识文本的控件的相关信息，在控件信息存储时，可以根据该控件中是否包含控件标识文本选择该控件实际对应的集合并存储相关控件信息。

在进行图像匹配时，可以优先将指令标识图像与图像控件信息集合中存储的各个控件的控件标识图像进行匹配，如果匹配到控件标识图像，则可以直接确定匹配到的控件标识图像实际对应的控件；

如果未在图像控件集合中匹配到控件标识图像，则忽略文本标识信息集合中各个控件的控件标识文本，直接将指令标识图像与文本标识信息集合中的各个控件的控件标识图像分别进行匹配，如果匹配到控件标识图像，则可以直接确定匹配到的控件标识图像实际对应的控件。

基于上述任一实施例，文本控件信息集合与图像控件信息集合是基于如下步骤确定的：

若接收到当前屏幕执行的应用程序的应用界面发生变化的触发事件，则扫描该应用界面上的所有控件，确定所有控件的控件信息，控件信息包括控件标识图像和位置信息，或包括控件标识文本、控件标识图像和位置信息；若任一控件的控件信息中包含控件标识文本，则将该控件的控件信息存入文本控件信息集合；否则，将该控件的控件信息存入图像控件信息集合。

具体地，可以预先设置文本控件信息集合和图像控件信息集合，并且实时检测当前的应用界面是否发生了变化，此处的变化可以是应用被点击、滑动或者窗口切换等。一旦接收到当前屏幕执行的应用程序的应用界面发生变化的触发事件，则对该应用界面进行一次控件扫描，从而获取该应用界面上的所有控件，并对所有控件进行数据收集，以确定所有控件的控件信息。

此处，针对任一控件，该控件的控件信息中包括控件标识图像和位置信息，此外还可以包括控件标识文本，也可以不包含控件标识文本。其中，控件标识图像可以是在接收到应用界面发生变化的触发事件之后直接对应用界面进行截屏操作所得的截屏图像中截取的该控件的图像。

在获取各个控件的控件信息的同时，可以以各个控件的控件信息中是否包含控件标识文本为依据，将各个控件的控件信息有选择地存入文本控件信息集合或者图像控件信息集合中。

基于上述任一实施例，所述服务项还包括指令标识确定模块，该方法还包括：

指令标识确定模块将文本指令发送至服务端；接收到服务端返回的文本指令对应的指令标识图像。

具体地，判断是否存在文本指令相对应的指令标识图像的工作可以由服务端实现。在此过程中，指令标识确定模块仅承担文本指令的发送工作，以及判断结果的接收工作。服务端在完成文本指令对应指令标识图像的查询之后，如果查询到指令标识图像，则将指令标识图像返回到指令标识确定模块，指令标识确定模块对应接收指令标识图像；如果未查询到指令标识图像，服务端不向智能终端返回指令标识图像，指令标识确定模块在等待预设时间且未接收到指令标识图像的情况下，确定基于文本指令进行文本匹配以确定语音指令意图控制的控件。

基于上述任一实施例，一种基于语音的应用控制方法，其执行主体为智能终端内常驻运行的服务项，该方法包括如下步骤：

首先，服务项在智能终端内存中创建并缓存一个文本控件信息集合textList和一个图像控件信息集合imageList。

服务项实时检测除自身以外的所有第三方应用在界面上的变化，每当第三方应用界面发生变化时，服务项对该应用界面进行一次控件View扫描。

服务项在扫描完成之后，会扫描所得的所有控件view进行数据收集，假设界面上共有n个view，针对每个view均对应创建该view的控件信息NodeInfo，控件信息NodeInfo中存储有该view的定位Rect信息、控件标识图像viewImage，还可以存储该view的控件标识文本Text。其中，viewImage是基于Rect信息从扫描前截屏所得的图像fullScreenImage中截取的子图片。如果任一view的控件信息NodeInfo中不包含Text，则将NodeInfo加入文本控件信息集合textList，否则将NodeInfo加入图像控件信息集合imageList。

服务项自身具备语音识别功能，在采集到用户使用系统的免唤醒或者唤醒词对智能终端发送的语音指令后，可以将语音指令转换成文本指令，记为targetText，String类型字符串。

接着，服务项把targetText作为参数传递到云端的服务器，由云端服务器查找是否预设了该targetText对应的指令标识图像targetImage，如果查找到对应的指令标识图像targetImage，则返回jpg或者png等格式的targetImage，服务项将targetImage作为后续待匹配的参数，如果没有查找到，则最服务项依然将targetText作为后续待匹配的参数。

如果存在targetImage，则首先查找imageList，读取imageList中每个NodeInfo中的viewImage，将viewImage与targetImage进行匹配，如果存在相匹配的viewImage，则返回该viewImage所属的NodeInfo；如果不存在相匹配的viewImage，则继续查找textList，读取textList中每个NodeInfo中的viewImage，将viewImage与targetImage进行匹配，如果找到相匹配的viewImage，则将返回该viewImage所属的NodeInfo，否则提示查找失败。

如果不存在targetImage，则首先查找textList，读取textList中每个NodeInfo中的Text，将Text与targetText进行匹配，如果存在相匹配的Text，则返回该Text所属的NodeInfo；如果不存在相匹配的Text，则查找imageList，使用OCR对imageList中每个NodeInfo中的viewImage进行文字识别，得到每个viewImage对应的图像转换文本Text变量，将Text变量与targetText进行匹配，如果存在相匹配的Text变量，则返回该Text变量所属的NodeInfo，否则提示查找失败。

获取NodeInfo后，获取NodeInfo中的Rect信息，使用Rect信息计算控件坐标，x＝(rect.right+rect.left)/2，y＝(rect.top+rect.bottom)/2,该坐标表示该NodeInfo所对应的View在App界面上的坐标位置。

利用智能终端系统提供的Touch Panel接口，在对应坐标位置生成MotionEvent事件，模拟产生触摸事件，最终发出点击行为，达成用户的语音转换为控制第三方App的目标。

例如，语音指令对应的文本指令为“调节空调温度到35度”，根据文本指令确定对应指令标识图像为空调APP中的温度调节开关控件图像，通过图像匹配定位到温度调节开关控件的位置，在该位置模拟触摸事件，从而实现温度调节。

图2示例了一种电子设备的实体结构示意图，如图2所示，该电子设备可以包括：处理器(processor)210、通信接口(Communications Interface)220、存储器(memory)230和通信总线240，其中，处理器210，通信接口220，存储器230通过通信总线240完成相互间的通信。处理器210可以调用存储器230中的逻辑指令，以执行基于语音的应用控制方法，所述处理器210预先装载有服务项，所述服务项中包括指令生成模块、位置确定模块、动作执行模块，所述方法包括：

所述指令生成模块接收向智能终端进行输入的语音指令，并将所述语音指令转化为控制指令，其中，所述语音指令被配置有对应的文本指令，所述文本指令被配置有对应的指令标识图像；

所述位置确定模块无法通过语音指令确定待运行的应用程序在所述智能终端的当前屏幕中的程序位置坐标的情况下，所述位置确定模块通过所述指令标识图像确定待运行的应用程序在所述智能终端的当前屏幕中的程序位置坐标；

所述动作执行模块根据所述程序位置坐标对所述待运行的应用程序执行所述控制指令。

此外，上述的存储器230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的基于语音的应用控制方法，所述程序指令中包含服务项，所述服务项中包括指令生成模块、位置确定模块、动作执行模块，所述方法包括：

所述指令生成模块接收向智能终端进行输入的语音指令，并将所述语音指令转化为控制指令，其中，所述语音指令被配置有对应的文本指令，所述文本指令被配置有对应的指令标识图像；

所述位置确定模块无法通过语音指令确定待运行的应用程序在所述智能终端的当前屏幕中的程序位置坐标的情况下，所述位置确定模块通过所述指令标识图像确定待运行的应用程序在所述智能终端的当前屏幕中的程序位置坐标；

所述动作执行模块根据所述程序位置坐标对所述待运行的应用程序执行所述控制指令。

又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于语音的应用控制方法，所述计算机程序包括服务项，所述服务项中包括指令生成模块、位置确定模块、动作执行模块，所述方法包括：

所述指令生成模块接收向智能终端进行输入的语音指令，并将所述语音指令转化为控制指令，其中，所述语音指令被配置有对应的文本指令，所述文本指令被配置有对应的指令标识图像；

所述位置确定模块无法通过语音指令确定待运行的应用程序在所述智能终端的当前屏幕中的程序位置坐标的情况下，所述位置确定模块通过所述指令标识图像确定待运行的应用程序在所述智能终端的当前屏幕中的程序位置坐标；

所述动作执行模块根据所述程序位置坐标对所述待运行的应用程序执行所述控制指令。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务端，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种智能终端上应用程序的运行方法，其特征在于，所述智能终端至少包括一个服务项，所述服务项中包括指令生成模块、位置确定模块、动作执行模块，所述方法包括：

所述指令生成模块接收向智能终端进行输入的语音指令，并将所述语音指令转化为控制指令，其中，所述语音指令被配置有对应的文本指令，所述文本指令被配置有对应的指令标识图像；

所述位置确定模块无法通过语音指令确定待运行的应用程序在所述智能终端的当前屏幕中的程序位置坐标的情况下，所述位置确定模块通过所述指令标识图像确定待运行的应用程序在所述智能终端的当前屏幕中的程序位置坐标；

所述动作执行模块根据所述程序位置坐标对所述待运行的应用程序执行所述控制指令；

在所述应用程序被所述控制指令启动之后，所述位置确定模块通过所述指令标识图像确定待执行控件在智能终端的当前屏幕中的控件位置坐标；

所述动作执行模块根据所述控件位置坐标对所述应用程序中的待执行控件执行所述控制指令；

所述服务项还包括目标控件确定模块，所述方法还包括：

若不存在所述文本指令对应的指令标识图像，则所述目标控件确定模块将所述文本指令与文本控件信息集合中的控件标识文本进行匹配；

若所述文本控件信息集合中不存在与所述文本指令匹配的控件标识文本，则所述目标控件确定模块将所述文本指令与图像控件信息集合中的图像转换文本进行匹配，所述图像转换文本是对所述图像控件信息集合中的控件标识图像进行文本识别得到的；

将与所述文本指令匹配的控件标识文本对应的控件作为待执行控件；

所述位置确定模块确定所述待执行控件的控件位置坐标；

所述图像控件信息集合是基于自身不包含文本的控件构建的，所述文本控件信息集合是基于自身包含文本的控件构建的；

所述文本控件信息集合和所述图像控件信息集合的确定步骤包括：

预先设置所述文本控件信息集合和所述图像控件信息集合，并实时检测当前的应用界面是否发生变化；

在接收到当前屏幕的应用程序的应用界面发生变化的触发事件的情况下，对所述应用界面进行一次控件扫描，得到所述应用界面上的所有控件，并对所有控件进行数据收集，以确定所有控件的控件信息，若任一控件的控件信息中包含控件标识文本，则将所述任一控件的控件信息存入所述文本控件信息集合；否则，将所述任一控件的控件信息存入所述图像控件信息集合。

2.根据权利要求1所述的方法，其特征在于，所述服务项还包括目标控件确定模块，所述方法还包括：

若存在所述文本指令对应的指令标识图像，则所述目标控件确定模块将所述指令标识图像与当前屏幕中执行的应用程序中的各个控件的控件标识图像进行匹配，将与所述指令标识图像匹配的控件标识图像对应的控件作为待执行控件。

3.根据权利要求1所述的方法，其特征在于，所述目标控件确定模块将所述文本指令与文本控件信息集合中的控件标识文本进行匹配，包括：

所述目标控件确定模块基于所述文本指令与任一控件标识文本之间的相互包含关系，以及所述文本指令与所述任一控件标识文本的字符数，确定所述文本指令与所述任一控件标识文本之间的相似度；

所述目标控件确定模块基于所述文本指令与各个控件标识文本之间的相似度，确定所述文本指令与各个控件标识文本之间的匹配结果。

4.根据权利要求2所述的方法，其特征在于，所述目标控件确定模块将所述指令标识图像与当前屏幕中执行的应用程序中的各个控件的控件标识图像进行匹配，包括：

所述目标控件确定模块将所述指令标识图像与图像控件信息集合中的控件标识图像进行匹配；

若所述图像控件信息集合中不存在与所述指令标识图像匹配的控件标识图像，则所述目标控件确定模块将所述指令标识图像与文本控件信息集合中的控件标识图像进行匹配；

所述图像控件信息集合是基于自身不包含文本的控件构建的，所述文本控件信息集合是基于自身包含文本的控件构建的。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述服务项还包括指令标识确定模块，所述方法还包括：

所述指令标识确定模块将所述文本指令发送至服务端，并接收所述服务端返回的所述文本指令对应的指令标识图像。

6.一种智能终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述的智能终端上应用程序的运行方法的步骤。

7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一项所述的智能终端上应用程序的运行方法的步骤。