CN108205455A - 应用的功能实现方法及装置、终端 - Google Patents

Abstract

本发明实施例提供了一种应用的功能实现方法及装置、终端，其中，上述方法包括：启动终端内安装的第一应用，并打开第一应用的显示界面；响应于终端检测到的触发事件，截取显示界面的图像，得到显示界面的截图；比较截图和预先存储的指定图像元素；以及在截图中存在指定图像元素时，执行与指定图像元素对应的功能。

Description

应用的功能实现方法及装置、终端

技术领域

本发明涉及应用处理领域，具体而言，涉及一种应用的功能实现方法及装置、终端。

背景技术

目前智能终端作为生活中不可或缺的一部分，给人们带来非常便利的生活体验。以下以手机为例进行说明，随着智能手机的推广，智能手机的屏幕也越来越大，目前手机外观仅剩下大屏幕和稀缺的按键。用户已经习惯了通过大屏幕进行点击完成各种应用目的。随着微信、QQ、其他各类通讯类应用程序(Application，简称为APP)开始推行语音输入，按住屏幕特定位置即可完成语音输入，这是一种手机通讯的变革。不同于以往的打电话和发短信模式，这种模式更适合于上班族和家里老人的交流，更适用于不会打字的老年人使用，但是对于盲人或者是视力不好老年人或者弱视群体来说，他们也想享受微信的语音交流乐趣，但是眼睛却无法准确的看到小喇叭或者麦克风等图标的位置，并且无法准确的点击屏幕。

针对目前微信、QQ、其他各类通讯APP、淘宝、百度地图及各类导航APP和搜索引擎APP等，只能实现屏幕点击特别喇叭图标或者麦克图标来实现语音输入的问题，对于老人群体和盲人群体及弱视群体，无法，他们的眼睛或者他们的手对于手机这个小屏幕来说，无法准确点击相应的功能图标，从而无法实现语音交流。另外，老年群体等特殊群体应用上的其它功能图标，由于体积较小，其对上述功能图标的识别和点击操作仍然存在一定的困难。并且，由于应用内图标的体积较小，常常会造成误操作。

发明内容

本发明实施例提供了一种应用的功能实现方法及装置、终端，以至少解决相关技术中由于应用内图标体积较小，难以准确定位并且易产生误操作的问题。

根据本发明的一个实施例，提供了一种应用的功能实现方法，包括：启动终端内安装的第一应用，并打开第一应用的显示界面；响应于终端检测到的触发事件，截取终端上当前运行第一应用的显示界面，得到显示界面的截图；比较截图和预先存储的指定图像元素；以及在截图中存在指定图像元素时，执行与指定图像元素对应的功能。

根据本发明的另一个实施例，提供了一种应用内图标的功能的实现装置，包括：启动模块，用于启动终端内安装的第一应用，并打开第一应用的显示界面；截取模块，用于响应于终端检测到的触发事件，截取终端上当前运行第一应用的显示界面，得到显示界面的截图；比较模块，用于比较截图和预先存储的指定图像元素；以及执行模块，用于在截图中存在指定图像元素时，执行与指定图像元素对应的功能。

根据本发明的又一个实施例，还提供了一种终端，包括：处理器和存储器；存储器，用于存储执行以下功能的程序；启动终端内安装的第一应用，并打开第一应用的显示界面；响应于终端检测到的触发事件，截取终端上当前运行第一应用的显示界面，得到显示界面的截图；比较截图和预先存储的指定图像元素；以及在截图中存在指定图像元素时，执行与指定图像元素对应的功能。

根据本发明的又一个实施例，还提供了一种存储介质。该存储介质设置为存储用于执行以上上述的应用的功能的实现方法的程序。

根据本发明的又一个实施例，还提供了一种处理器。该处理器设置为执行以上上述的应用的功能的实现方法的程序。

通过本发明，由于可以基于触发事件截取应用的显示界面的图像，并基于截图和预先存储的指定图像元素的比较结果，在上述截图中存在之水图像元素时，执行上述图标的功能，因此，可以使用上述比较过程代替了原有的图标点击操作，解决相关技术中由于图标体积较小，难以准确定位并且易产生误操作的问题，提升用户体验。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种移动终端的硬件结构框图；

图2是根据本发明实施例的应用的功能实现方法的流程图；

图3是根据本发明实施例的一种可选的应用的功能实现方法的流程图；

图4是根据本发明实施例的一种可选的各类群体使用手机上的应用时存在的问题展示示意图；

图5是根据本发明实施例的另一种可选的应用的功能实现方法的流程图；

图6是根据本发明实施例的应用的功能实现装置的结构框图；

图7是根据本发明实施例的另一应用的功能实现装置的结构示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

实施例1

本申请实施例1所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是根据本发明实施例的一种移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的应用的功能实现方法对应的程序指令/模块，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

其中，存储器104，用于存储执行以下功能的程序；用于启动终端内安装的第一应用，并打开上述第一应用的显示界面；以及响应于上述终端检测到的触发事件，截取上述显示界面的图像，得到上述显示界面的截图；比较上述截图和预先存储的图标；以及在上述截图中存在上述图标时，执行与上述图标对应的功能；

处理器102，用于调用上述存储器中存储的上述程序并执行上述程序。

可选地，上述终端可以设置有按键(图中未示出)，用于响应终端用户的点击操作，并产生上述指定按键指令；或者，语音采集装置，用于采集上述终端用户的语音指令，并通过上述终端内安装的第二应用将上述语音指令发送至上述处理器，其中，上述语音指令用于触发截取上述显示界面的图像；触摸屏，用于采集上述终端用户在上述终端的显示屏上的运动轨迹，并将上述运动轨迹发送至上述处理器，其中，在上述运动轨迹与预设轨迹相同时，将上述运动轨迹作为上述触发事件。

在本实施例中提供了一种运行于上述移动终端的方法，图2是根据本发明实施例的应用的功能实现方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，启动终端内安装的第一应用，并打开上述第一应用的显示界面；

步骤S204，响应于上述终端检测到的触发事件，截取上述显示界面的图像，得到上述显示界面的截图；

可选地，上述触发事件的表现形式有多种，为便于老人等特殊群体人们的使用，上述触发事件需要简单易操作且不易误操作，例如，可以通过物理按键的形式实现，还可以通过语音指令或检测触摸屏上的滑动轨迹实现，具体地，可以通过以下方式检测上述触发事件：

1)检测终端用户输入的指定按键指令，其中，上述指定按键指令为上述终端用户对上述终端上的指定物理按键或指定物理按键组合进行点击操作所产生的指令；

在一个可选实施例中，以上述图标为应用内语音输入图标为例，通过一种按键或者按键组合的方法来完成当前APP实时语音的发送请求。图3是根据本发明实施例的一种可选的应用的功能实现方法的流程图。如图3所示，该流程包括以下处理步骤：

步骤S302，检测到按键或者按键组合被触发(即被点击)；

步骤S304，对于当前使用APP进行屏幕截图；

步骤S306，，通过与手机预存的各类APP的语音输入图标进行分析对比，判断当前截图中是否存在语音输入功能对应的图标；如果存在，转步骤S308，否则转步骤S310；

步骤S308，应用层直接调用此APP的语音输入层代码，完成语音输入。从而实现按键完成智能语音输入的请求。

步骤S310，提示终端用户该应用当前不支持语音输入功能，可选地，提示方式可以为语音提示的方式。

2)检测上述终端用户通过上述终端内安装的第二应用输入的语音指令，其中，上述语音指令用于触发截取上述显示界面的图像；即可以将第二应用与第一应用关联，在打开第二应用后，会将其采集到的语音指令与应用内图标(即应用显示界面上的图标)进行关联，以执行与语音指令对应图标的功能。

3)检测上述终端用户在上述终端的显示屏上的运动轨迹；其中，在上述运动轨迹与预设轨迹相同时，将上述运动轨迹作为上述触发事件。

可选地，为了便于操作，可以预定义触发事件与图像元素的映射关系，即上述触发事件与上述显示界面中指定图像元素的功能是对应的。此时，在上述截图中不存在上述预先存储的图标时，以语音的方式向上述终端用户提示上述应用不支持上述指定图标的功能。

步骤S206，比较上述截图和预先存储的指定图像元素；该指定图像元素包括但不限于：用于触发语音输入功能的图像元素、用于触发打开浏览器功能的图像元素、用于触发拍照的图像元素、用于触发文件上传的图像元素。可选地，指定图像元素包括但不限于应用显示界面上的功能图标。

步骤S208，在上述截图中存在上述指定图像元素时，执行与上述指定图像元素对应的功能。

作为本实施例的一个可选实施方式，本实施例可以实现支持多个指定图像元素的功能，此时如果截图中存在多个需要执行的指定图像元素时，需要进行区分，也可以依据终端用户的选择指令选择相应的指定图像元素，例如，步骤S208可以通过以下方式实现：在上述截图中存在多个上述指定图像元素时，以语音的方式向上述终端用户提示多个上述指定图像元素的类型；接收上述终端用户对多个上述指定图像元素的选择指令；并执行与上述选择指令对应指定图像元素的功能。该选择指令可以为基于与选中的指定图像元素对应的其它触发事件产生的，但不限于此。

由于可以基于触发事件截取应用的显示界面的图像，并基于截图和预先存储的指定图像元素的比较结果，在上述截图中存在指定图像元素(即上述显示界面上的指定图像元素)时，执行上述指定图像元素的功能，因此，可以使用上述比较过程代替了原有的图标点击操作，解决相关技术中由于应用显示界面上的图标体积较小，难以准确定位并且易产生误操作的问题，提升了用户体验。

可选地，上述步骤的执行主体可以为图1所示的移动终端等，该移动终端包括但不限于智能手机、平板电脑等。

以下结合图5详细说明本实施例的一个应用场景，该场景显示了老人用户或者盲人或者弱视群体在使用手机。

各类群体使用手机的存在的问题如图4所示，一般对于视力存在问题的老人来说，手机屏幕很小，而且上面的语音图标就相对更小，用户的眼睛和手无法支持准确的点击。而采用图5所示方案，可以解决老年人、盲人及弱视群体用户想使用微信、QQ、淘宝、百度地图等各类APP的语音功能交流，而无法正确点击APP上面的喇叭图标或者麦克图标的问题。如果可以实现按键实时语音交流，那对于这类群体来说会是一种非常好的体验，对于视力不好的老年人及弱视群体，会极大的增强他们通讯的便利性。

假设用户打开微信，想进行语音交流。用户进入微信语音输入界面，但是无法看清或者手无法准确点击上面的语音输入图标。

步骤S502，用户改为按键触发模式，按下特定按键或者组合按键。

步骤S504，调用应用层代码处理上述特定按键或组合按键的按键指令，进行屏幕截图；

步骤S506，与预存在手机中的各类APP的特定语音输入图标(例如喇叭形状的图标)进行对比分析，通过图片分析及对比处理。

步骤S508，如果分析出该应用的显示界面存在语音输入图标，即可在应用层代码模拟手动点击图标，主动式的调用该app的语音输入接口进行语音输入，完成语音输入功能。

另外，如果分析出上述显示界面出现多个对应图标，语音提示用户图标类型，以及如何选择。如果分析该界面不存在语音输入图标，即语音提示用户不支持语音输入。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种应用的功能实现装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图6是根据本发明实施例的应用的功能实现装置的结构框图，如图6所示，该装置包括：

启动模块60，用于启动终端内安装的第一应用，并打开上述第一应用的显示界面；

截取模块62，连接至启动模块60，用于响应于上述终端检测到的触发事件，截取上述显示界面的图像，得到上述显示界面的截图；

比较模块64，连接至截取模块62，用于比较上述截图和预先存储的指定图像元素；以及

执行模块66，连接至比较模块64，用于在上述截图中存在上述指定图像元素时，执行与上述指定图像元素对应的功能。

可选地，如图7所示，上述装置还可以包括：检测模块68，连接至截取模块62，用于检测终端用户输入的指定按键指令，其中，上述指定按键指令为上述终端用户对上述终端上的指定物理按键或指定物理按键组合进行点击操作所产生的指令；或者，检测上述终端用户通过上述终端内安装的第二应用输入的语音指令，其中，上述语音指令用于触发截取上述显示界面的图像；或者，检测上述终端用户在上述终端的显示屏上的运动轨迹，其中，在上述运动轨迹与预设轨迹相同时，将上述运动轨迹作为上述触发事件

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

需要说明的是，本实施例中的优选实施方式可以参见实施例1中的相关描述，此处不再赘述。

实施例3

本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行实施例1中的终端的功能实现方法的程序代码，例如：启动终端内安装的第一应用，并打开第一应用的显示界面；响应于终端检测到的触发事件，截取显示界面的图像，得到显示界面的截图；比较截图和预先存储的指定图像元素；以及在截图中存在指定图像元素时，执行与指定图像元素对应的功能。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

实施例4

本发明的实施例还提供了一种处理器。可选地，在本实施例中，上述处理器可以被设置为执行实施例1中上述的终端的功能实现方法的程序代码。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种应用的功能实现方法，其特征在于，包括：

启动终端内安装的第一应用，并打开所述第一应用的显示界面；

响应于所述终端检测到的触发事件，截取终端上当前运行第一应用的显示界面，得到所述显示界面的截图；

比较所述截图和预先存储的指定图像元素；以及

在所述截图中存在所述指定图像元素时，执行与所述指定图像元素对应的功能。

2.根据权利要求1所述的方法，其特征在于，通过以下方式检测所述触发事件，包括：

检测终端用户输入的指定按键指令，其中，所述指定按键指令为所述终端用户对所述终端上的指定物理按键或指定物理按键组合进行点击操作所产生的指令；

检测所述终端用户通过所述终端内安装的第二应用输入的语音指令，其中，所述语音指令用于触发截取所述显示界面的图像；

检测所述终端用户在所述终端的显示屏上的运动轨迹；其中，在所述运动轨迹与预设轨迹相同时，将所述运动轨迹作为所述触发事件。

3.根据权利要求1所述的方法，其特征在于，在所述截图中存在所述指定图像元素时，执行与所述指定图像元素对应的功能，包括：

在所述截图中存在多个所述指定图像元素时，以语音的方式向所述终端用户提示多个所述指定图像元素的类型；

接收所述终端用户对多个所述指定图像元素的选择指令；并执行与所述选择指令对应指定图像元素的功能。

4.根据权利要求1所述的方法，其特征在于，所述触发事件与所述显示界面中指定图像元素的功能是对应的。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在所述截图中不存在所述预先存储的指定图像元素时，以语音的方式向所述终端用户提示所述第一应用不支持所述指定图像元素对应的功能。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述指定图像元素包括以下至少之一：用于触发语音输入功能的图像元素、用于触发打开浏览器功能的图像元素、用于触发拍照的图像元素、用于触发文件上传的图像元素。

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述指定图像元素包括：图标。

8.一种应用的功能实现装置，其特征在于，包括：

启动模块，用于启动终端内安装的第一应用，并打开所述第一应用的显示界面；

截取模块，用于响应于所述终端检测到的触发事件，截取终端上当前运行第一应用的显示界面，得到所述显示界面的截图；

比较模块，用于比较所述截图和预先存储的指定图像元素；以及

执行模块，用于在所述截图中存在所述指定图像元素时，执行与所述指定图像元素对应的功能。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

检测模块，用于检测终端用户输入的指定按键指令，其中，所述指定按键指令为所述终端用户对所述终端上的指定物理按键或指定物理按键组合进行点击操作所产生的指令；或者，检测所述终端用户通过所述终端内安装的第二应用输入的语音指令，其中，所述语音指令用于触发截取所述显示界面的图像；或者，检测所述终端用户在所述终端的显示屏上的运动轨迹，其中，在所述运动轨迹与预设轨迹相同时，将所述运动轨迹作为所述触发事件。

10.一种终端，其特征在于，包括：处理器和存储器，其中，

所述存储器，用于存储执行以下功能的程序；启动终端内安装的第一应用，并打开所述第一应用的显示界面；响应于所述终端检测到的触发事件，截取终端上当前运行第一应用的显示界面，得到所述显示界面的截图；比较所述截图和预先存储的指定图像元素；以及在所述截图中存在所述指定图像元素时，执行与所述指定图像元素对应的功能；

所述处理器，用于调用所述存储器中存储的所述程序并执行所述程序。

11.根据权利要求10所述的终端，其特征在于，所述终端还包括：

按键，用于响应终端用户的点击操作，并产生所述指定按键指令；或者，

语音采集装置，用于采集所述终端用户的语音指令，并通过所述终端内安装的第二应用将所述语音指令发送至所述处理器，其中，所述语音指令用于触发截取所述显示界面的图像；或者，

触摸屏，用于采集所述终端用户在所述终端的显示屏上的运动轨迹，并将所述运动轨迹发送至所述处理器，其中，在所述运动轨迹与预设轨迹相同时，将所述运动轨迹作为所述触发事件。

12.一种存储介质，其特征在于，包括：所述存储介质用于存储实现权利要求1至7中任意一项所述的应用的功能实现方法的程序。

13.一种处理器，其特征在于，包括：所述处理器用于执行实现权利要求1至7中任意一项所述的应用的功能实现方法的程序。