CN106909818A - 对应用程序进行控制的方法及装置 - Google Patents

Abstract

本发明公开了一种对应用程序进行控制的方法及装置，其中的方法包括：分别通过终端的前置摄像头和麦克风采集用户视觉特征信息和用户语音特征信息；辅助程序获取用户视觉特征信息和用户语音特征信息；根据用户视觉特征信息和用户语音特征信息判断用户是否为合法用户；如果是合法用户，对用户语音特征信息进行语音识别；根据语音识别结果，判断用户语音特征信息所针对的应用程序与所视觉特征信息追踪的应用程序是否为同一个应用程序；若是同一个应用程序，判断应用程序是否为辅助程序的签约应用；若是签约应用，根据语音识别结果中的控制含义，对所述应用程序进行控制。本发明可提高对应用程序控制的安全性、便捷性。

Description

对应用程序进行控制的方法及装置

技术领域

本发明涉及计算机技术领域，具体涉及一种对应用程序进行控制的方法及装置。

背景技术

随着终端使用的普及，越来越多的用户在终端上下载并使用功能丰富的应用程序(也称为：应用、APP或软件)。例如，用户在手机上通过“天气通”APP查看天气、通过“新闻”类APP浏览新闻、通过“游戏”类APP玩游戏，等等。

目前操控APP的方式是，用户需手动在手机等终端的主界面或辅界面上找到APP的图标，点击APP的图标，再开启相应的功能。

这种控制APP的方式存在安全隐患，因为终端可能被其他用户暂时使用，对于即时通讯类APP(如：微信、QQ)、电商类APP(如：淘宝、京东)或金融类APP(如：银行客户端)，很可能存在一定个人隐私或资金隐私，如果被其他用户随意打开，可能泄漏隐私。而且这种方式需要用户手动点击APP，这对于行动不便人士(如残障人士或行动不便的老人)则很不方便。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的控制应用程序的方法及装置。

依据本发明的一个方面，提供一种对应用程序进行控制的方法，用于在终端上借助辅助程序对应用程序进行控制，所述方法包括：

分别通过所述终端的前置摄像头和麦克风采集用户视觉特征信息和用户语音特征信息；

所述辅助程序获取所述用户视觉特征信息和所述用户语音特征信息；

根据所述用户视觉特征信息和所述用户语音特征信息判断所述用户是否为合法用户；

如果是合法用户，对所述用户语音特征信息进行语音识别；

根据语音识别结果，判断所述用户语音特征信息所针对的应用程序与所述视觉特征信息追踪的应用程序是否为同一个应用程序；

若是同一个应用程序，判断所述应用程序是否为所述辅助程序的签约应用；

若是签约应用，根据语音识别结果中的控制含义，对所述应用程序进行控制。

优选的，还包括：在所述辅助程序中配置有启动应用配置文件，所述启动应用配置文件中保存有启动应用操作信息；

所述对所述应用程序进行控制包括：

通过语音识别得到启动应用程序命令；读取所述启动应用配置文件，执行所述启动应用操作信息，实现对所述应用程序的启动。

优选的，还包括：在所述辅助程序中配置有启动功能配置文件，所述启动功能配置文件中保存有针对所述应用程序的启动功能操作信息；

所述对所述应用程序进行控制包括：

通过语音识别得到针对应用程序启动功能选项命令；读取所述启动功能配置文件，执行所述启动功能操作信息，实现对所述应用程序的功能选项的启动。

优选的，所述判断所述用户语音特征信息所针对的应用程序与所述视觉特征信息追踪的应用程序是否为同一个应用程序包括：

提取所述用户语音特征信息所针对的应用程序的标识，以及提取所述视觉特征信息追踪的应用程序的标识，比对二者标识是否一致，若一致，确定为同一个应用程序。

优选的，所述判断所述应用程序是否为所述辅助程序的签约应用包括：

根据语音识别结果，得到所述用户语音特征信息对应的文本信息；

查找与所述文本信息匹配的应用程序的名称或应用程序的功能名称；

在预置的签约应用集合中，判断是否包括所述应用程序，若包括，则确定所述应用程序为签约应用。

优选的，还包括：

预先在所述辅助程序中确认并记录所述签约应用集合。

优选的，所述预先在所述辅助程序中确认并记录所述签约应用集合包括：

通过所述辅助程序提供签约应用登记界面，供用户选择签约应用；

将用户确认的签约应用的配置信息和操作权限信息进行保存，得到所述签约应用集合。

优选的，所述方法还包括：

分别通过所述前置摄像头和麦克风预先采集合法用户的视觉特征信息语音特征信息，并预先记录在所述辅助程序中。

优选的，所述预先采集合法用户的视觉特征信息和语音特征信息包括：

通过所述辅助程序提供采集界面，用户在所述采集界面上验证身份通过后，通过所述前置摄像头和所述麦克风分别进行视觉特征信息和语音特征信息的采集；

所述辅助程序获取所述用户的视觉特征信息和语音特征信息，并以用户标识为索引进行保存。

优选的，所述根据所述用户视觉特征信息和所述用户语音特征信息判断所述用户是否为合法用户包括：

将所述用户视觉特征信息与预先采集的合法用户的视觉特征信息进行匹配，以及，将所述用户语音特征信息与预先采集的合法用户的语音特征信息进行匹配；

如果两次均匹配成功，则确定当前用户为合法用户。

优选的，所述用户视觉特征信息包括眼纹信息和视觉焦点信息。

一种对应用程序进行控制的装置，用于在终端上借助辅助程序对应用程序进行控制，所述装置包括：

特征信息获取单元，用于获取分别通过所述终端的前置摄像头和麦克风采集的用户视觉特征信息和用户语音特征信息；

合法用户确定单元，用于根据所述用户视觉特征信息和所述用户语音特征信息判断所述用户是否为合法用户；

语音识别单元，用于对所述用户语音特征信息进行语音识别；

同一应用确定单元，用于判断所述用户语音特征信息所针对的应用程序与所述视觉特征信息追踪的应用程序是否为同一个应用程序；

签约应用确定单元，用于判断所述应用程序是否为所述辅助程序的签约应用；

应用控制单元，用于根据语音识别结果中的控制含义，对所述应用程序进行控制。

优选的，还包括：

启动应用配置单元，用于在所述辅助程序中配置有启动应用配置文件，所述启动应用配置文件中保存有启动应用操作信息；

所述语音识别单元具体用于，通过语音识别得到启动应用程序命令；

所述应用控制单元具体用于，读取所述启动应用配置文件，执行所述启动应用操作信息，实现对所述应用程序的启动。

优选的，还包括：

启动功能配置单元，用于在所述辅助程序中配置有启动功能配置文件，所述启动功能配置文件中保存有针对所述应用程序的启动功能操作信息；

所述语音识别单元具体用于，通过语音识别得到针对应用程序启动功能选项命令；

所述应用控制单元具体用于，读取所述启动功能配置文件，执行所述启动功能操作信息，实现对所述应用程序的功能选项的启动。

优选的，所述同一应用确定单元具体用于，提取所述用户语音特征信息所针对的应用程序的标识，以及提取所述视觉特征信息追踪的应用程序的标识，比对二者标识是否一致，若一致，确定为同一个应用程序。

优选的，所述签约应用确定单元具体用于，根据语音识别结果，得到所述用户语音特征信息对应的文本信息；查找与所述文本信息匹配的应用程序的名称或应用程序的功能名称；在预置的签约应用集合中，判断是否包括所述应用程序，若包括，则确定所述应用程序为签约应用。

优选的，还包括：

签约单元，用于预先在所述辅助程序中确认并记录所述签约应用集合。

优选的，所述签约单元具体用于，通过所述辅助程序提供签约应用登记界面，供用户选择签约应用；将用户确认的签约应用的配置信息和操作权限信息进行保存，得到所述签约应用集合。

优选的，还包括：

合法信息采集单元，用于获取通过所述前置摄像头和麦克风预先采集的合法用户的视觉特征信息和语音特征信息，并记录在所述辅助程序中。

优选的，所述合法信息采集单元具体用于，通过所述辅助程序提供采集界面，用户在所述采集界面上验证身份通过后，通过所述前置摄像头和所述麦克风分别进行视觉特征信息和语音特征信息的采集；所述辅助程序获取所述用户的视觉特征信息和语音特征信息，并以用户标识为索引进行保存。

优选的，所述合法用户确定单元具体用于，将所述用户视觉特征信息与预先采集的合法用户的视觉特征信息进行匹配，以及，将所述用户语音特征信息与预先采集的合法用户的语音特征信息进行匹配；如果两次均匹配成功，则确定当前用户为合法用户。

优选的，所述用户视觉特征信息包括眼纹信息和视觉焦点信息。

可见，本发明通过一个辅助程序，对应用程序的启动及操作进行控制：辅助程序记录终端摄像头和麦克风采集的用户视觉特征信息和用户语音特征信息，并通过用户视觉特征信息确定用户是否合法，在确定合法之后，判断语音特征信息所针对的应用程序是否为签约应用程序，在确定是签约应用程序之后，识别出语音特征信息的控制含义，对应用程序进行启动或特定功能的控制。

通过本发明，可实现应用程序的安全启动。例如对于即时通讯类APP(如：微信、QQ)、电商类APP(如：淘宝、京东)或金融类APP(如：银行客户端)，由于存在个人隐私或资金隐私，如果被其他用户随意打开，会造成信息泄漏。而本发明实现的一个条件是，必须是合法用户针对签约应用程序的操作，因此，实际中，可以在辅助程序中设置用户认为非常重要而不愿意让别人随意打开的APP为签约应用程序，并通过预先采集合法用户的视觉特征信息，从而保证后续只有合法用户的语音特征信息才能开启这些签约应用程序。

而且，本发明不需要用户进行点击等操作，用户只需要针对想要开启或操作的应用程序进行视觉关注以及语音控制即可，全程由辅助程序自动判断合法用户、签约应用程序以及开启或控制应用程序的操作，非常方便、高效，特别适合行动不便人士。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的对应用程序进行控制的方法流程示意图；以及

图2示出了根据本发明一个实施例的对应用程序进行控制的装置结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

针对现有技术启动应用程序存在的安全隐患以及不方便的问题，本发明提出，通过一个辅助程序，对应用程序的启动及操作进行控制。方案在于：辅助程序记录终端前置摄像头和麦克风采集的用户视觉特征信息和用户语音特征信息，并确定用户合法且语音特征信息是针对签约应用程序之后，识别出语音特征信息代表的控制含义，对应用程序进行相应的控制。

本发明的辅助程序，可以是一个管理类APP，例如手机管家等，通过该辅助程序，可以实现对手机上的其他APP进行管理。

本发明的终端包括但不限于具有触摸屏的电子设备或者不具有触摸屏的电子设备，例如，手机、ipad、智能手表、计算机，等。终端可以支持包括windows、android、IOS等操作系统，通过可以运行各类应用程序。

参见图1，为本发明实施例提供的一种控制应用程序的方法，该方法用于在终端上借助辅助程序对应用程序进行控制。

S101：分别通过终端的前置摄像头和麦克风采集用户视觉特征信息和用户语音特征信息。

本发明要同时采集用户视觉特征信息和用户语音特征信息。其中，用户视觉特征信息和用户语音特征信息一并进行合法用户的识别，从而保证合法用户确认过程的准确性，用户语音特征信息进一步用于进行语音识别得到控制含义之后对应用程序进行语音控制。

为满足用户对隐私安全的需求，终端已经应用了各类身份识别技术，其中通过视觉信息(眼球、眼纹、虹膜)及语音信息(声纹)这类生物识别技术已经非常成熟，使用非常广泛。本发明实施例中，通过借助终端上的前置摄像头获取用户视觉信息、麦克风获取用户语音信息，并通过预置的合法用户的视觉信息和语音信息，进行用户合法性的判断，后面会详细介绍。

S102：辅助程序获取用户视觉特征信息和用户语音特征信息。

S103：根据用户视觉特征信息和用户语音特征信息判断用户是否为合法用户。

为了安全，可预先采集并保存合法用户的用户视觉信息和用户语音特征信息，并将实时采集的用户视觉信息与预先采集的合法用户的用户视觉信息进行匹配，以及，将实时采集的用户语音信息与预先采集的合法用户的用户语音信息进行匹配，只有两次均匹配成功，才确定当前用户是否为合法用户。可以理解，合法用户可以包括一个或多个，以两人共用一部手机为例，预先采集用户A和用户B的视觉信息到该手机上，那么，不论是用户A还是用户B，在后续利用本发明进行操作时，都认为是合法用户；对于用户A和用户B之外的其他用户，则认为不是合法用户。

用户视觉特征信息例如包括眼纹信息、视觉焦点信息；用户语音特征信息例如包括声纹信息。因此，可以利用用户眼纹信息和用户声纹信息进行用户合法性识别，即，将实时采集的用户眼纹信息、用户声纹信息与预先采集的合法用户的眼纹信息、声纹信息进行匹配，如何二者眼纹信息、声纹信息特征一致，则确定当前用户为合法用户。

在确定当前用户为合法用户之后，执行后续步骤，否则，拒绝执行后续操作。

因此，本发明优选的还包括步骤：分别通过前置摄像头和麦克风预先采集合法用户的视觉特征信息语音特征信息，并预先记录在辅助程序中。其中，预先采集合法用户的视觉特征信息和语音特征信息的过程为：通过辅助程序提供采集界面，用户在采集界面上验证身份通过后，通过前置摄像头和麦克风分别进行视觉特征信息和语音特征信息的采集；辅助程序获取用户的视觉特征信息和语音特征信息，并以用户标识为索引进行保存。由此，根据用户视觉特征信息和用户语音特征信息判断用户是否为合法用户的过程为：将用户视觉特征信息与预先采集的合法用户的视觉特征信息进行匹配，以及，将用户语音特征信息与预先采集的合法用户的语音特征信息进行匹配；如果两次均匹配成功，则确定当前用户为合法用户。

S104：如果是合法用户，对用户语音特征信息进行语音识别。

语音识别(也可称为语义识别)，是指对语音基于数据库进行识别出其含义的过程。一般而言，首先需要进行“语音－文字”的转换，然后需要进行文字含义的解析，确定语音代表的含义。语音识别技术主要包括特征提取、模式匹配准则及模型训练等方面。语音识别系统的模型通常由声学模型和语言模型两部分组成，分别对应于语音到音节概率的计算和音节到字概率的计算。语音识别方法主要是模式匹配法。在训练阶段，用户将词汇表中的每一词依次说一遍，并且将其特征矢量作为模板存入模板库。在识别阶段，将输入语音的特征矢量依次与模板库中的每个模板进行相似度比较，将相似度最高者作为识别结果输出。

本发明采用现有或未来的语音识别方法，识别出语音的含义。具体的，可以借助网络侧服务器进行识别，由服务器反馈识别结果，也可以在本地进行识别。

S105：根据语音识别结果，判断用户语音特征信息所针对的应用程序与视觉特征信息追踪的应用程序是否为同一个应用程序。

为了提取用户语音特征信息所针对的应用程序的标识，首先需要进行语音识别，通过语音识别结果的文本匹配，确定语音信息所针对的应用程序，由此才能得到应用程序的标识。

对于确定用户视觉特征信息停留的应用程序，可以通过对视觉信息的追踪，从而确定用户视觉特征信息所针对的应用程序。其中，如前所述的，用户视觉特征信息可以包括眼纹信息和视觉焦点信息。因此，可以利用视觉焦点的获取及停留时间的计算，实现对用户视觉特征信息的追踪。具体的，通过摄像头采集视觉焦点信息并通过终端内部的视觉存储模块存储采集到的视觉焦点信息，并通过视觉追踪模块确定视觉运行轨迹，从而实现对用户视觉特征信息的追踪以及对停留时间的获取。

在得到视觉追踪的应用程序标识以及语音信息所针对的应用程序的标识之后，将二者进行比对，从而确定视觉和语音是否同时针对一个目标应用程序。可见，本发明采用视觉和语音两种方式保证方案的准确性，避免由于用户随口误言或随意查看而造成的对应用程序的误控。

S106：若是同一个应用程序，判断所述应用程序是否为所述辅助程序的签约应用。

辅助程序通常仅对在辅助程序上预先签约(登记)的应用程序进行管理。因此，本发明还包括步骤：预先在辅助程序中确认并记录签约应用集合。签约的过程可以是，例如，首先，在辅助程序上提供签约应用登记界面，供用户选择签约应用程序；其次，在用户选择之后，辅助程序通过API接口与签约应用程序通信，读取签约应用程序的配置文件，接管应用程序的部分或全部操作权限；最后，在辅助程序生成并保存签约应用程序的签约文件。可以理解，签约文件中保存有签约应用程序的信息，例如，签约应用程序的标识、配置文件、操作权限，等。具体实现中，可以通过一个签约应用标识列表记录所有签约应用程序的标识。

对于判断是否为签约应用程序，可以通过比对应用程序的标识等信息，确定用户语音特征信息所针对的应用程序是否为辅助程序的签约应用程序，例如，根据语音识别结果，得到用户语音特征信息对应的文本信息；查找与文本信息匹配的应用程序的名称或应用程序的功能名称；在预置的签约应用集合中，判断是否包括所述应用程序，若包括，则确定应用程序为签约应用，继续执行后续步骤，否则，确定为非签约应用程序，无需执行后续步骤。

当然，由于上述步骤S105中已经通过应用程序的标识确定为同一个应用程序，因此，可以直接以该应用程序的标识在签约应用标识列表进行匹配，如果匹配成功，则确认为签约应用程序。

S107：若是签约应用，根据语音识别结果中的控制含义，对应用程序进行控制。

本领域技术人员了解，应用程序的功能包括一级或多极功能(如二级功能、三级功能等)，一级功能可以是开启应用程序，多极功能可以是需要从对应的上一级功能进入的功能，如选择一级功能后可以继续选择该一级功能对应的二级功能。例如，一款音乐播放器可以提供播放电子设备本地音乐的功能“本地播放”，在进入“本地播放”功能的情况下，可以进入循环播放同一首歌的功能“单曲循环”，则“本地播放”属于一级功能，“单曲循环”属于二级功能。

辅助程序控制应用程序的过程，可以通过配置并调用启动应用配置文件实现启动应用程序(一级功能)，或通过配置并调用启动功能配置文件来实现功能选项的控制(多极功能)。

为了实现一级功能，在辅助程序中配置有启动应用配置文件，该启动应用配置文件中保存有启动应用操作信息；当判断用户语音特征信息的识别结果中含有开启应用程序的控制含义时，读取该启动应用配置文件，执行启动应用操作信息，实现对应用程序的启动进行控制。具体的，启动应用配置文件中保存的启动应用操作信息可以是脚本语言描述的信息。例如，脚本语言可以包括Lua。Lua是一个小巧的脚本语言，可以嵌入在应用程序中，为应用程序提供灵活的扩展和定制功能。

为了实现多极功能，在辅助程序中配置并调用一个启动功能配置文件来实现。具体的，在辅助程序中配置有启动功能配置文件，该启动功能配置文件中保存有针对上述应用程序启动功能选项的操作信息；当判断用户语音特征信息的识别结果中含有开启应用程序的特定的功能选项的控制含义时，读取该启动功能配置文件，执行启动功能操作信息，实现对该应用程序特定功能选项的控制。具体的，启动功能配置文件中保存的启动功能操作信息可以是脚本语言描述的信息。例如，脚本语言可以包括Lua。Lua是一个小巧的脚本语言，可以嵌入在应用程序中，为应用程序提供灵活的扩展和定制功能。

可见，本发明通过一个辅助程序，对应用程序的启动及操作进行控制：辅助程序记录终端摄像头和麦克风采集的用户视觉特征信息和用户语音特征信息，并通过用户视觉特征信息和用户语音特征信息双重确定用户的合法性，在确定合法之后，进一步判断语音信息和视觉信息是否针对同一个应用程序，避免误控，在确认为针对同一个应用程序之后，进一步该应用程序是否为签约应用程序，在确定是签约应用程序之后，识别出语音特征信息的控制含义，对应用程序进行启动或特定功能的控制。

通过本发明，可实现应用程序的安全启动。例如对于即时通讯类APP(如：微信、QQ)、电商类APP(如：淘宝、京东)或金融类APP(如：银行客户端)，由于存在个人隐私或资金隐私，如果被其他用户随意打开，会造成信息泄漏。而本发明实现的三个条件是，通过视觉信息和语音信息确认合法用户、视觉信息和语音信息针对同一个应用程序、该应用是签约应用程序，因此，实际中，可以在辅助程序中设置用户认为非常重要而不愿意让别人随意打开的APP为签约应用程序，并通过预先采集合法用户的视觉特征信息和语音特征信息，从而保证后续只有合法用户的语音特征信息才能开启这些签约应用程序。

而且，本发明不需要用户进行点击等操作，用户只需要针对想要开启或操作的应用程序进行视觉关注以及语音控制即可，全程由辅助程序自动判断合法用户、签约应用程序以及开启或控制应用程序的操作，非常方便、高效，特别适合行动不便人士。

与上述方法相对应，本发明还提供一种对应用程序进行控制的装置，用于在终端上借助辅助程序对应用程序进行控制。该装置可以通过软件、硬件或软硬件结合实现。优选的，该装置是设置在辅助程序中的一个模块。

参见图2，为本发明一个实施例提供的一种对应用程序进行控制的装置的结构示意图。

该装置包括：

特征信息获取单元201，用于获取分别通过所述终端的前置摄像头和麦克风采集的用户视觉特征信息和用户语音特征信息；

合法用户确定单元202，用于根据所述用户视觉特征信息和所述用户语音特征信息判断所述用户是否为合法用户；

语音识别单元203，用于对所述用户语音特征信息进行语音识别；

同一应用确定单元204，用于判断所述用户语音特征信息所针对的应用程序与所述视觉特征信息追踪的应用程序是否为同一个应用程序；

签约应用确定单元205，用于判断所述应用程序是否为所述辅助程序的签约应用；

应用控制单元206，用于根据语音识别结果中的控制含义，对所述应用程序进行控制。

优选的，该装置还包括：

启动应用配置单元207，用于在所述辅助程序中配置有启动应用配置文件，所述启动应用配置文件中保存有启动应用操作信息；

所述语音识别单元203具体用于，通过语音识别得到启动应用程序命令；

所述应用控制单元206具体用于，读取所述启动应用配置文件，执行所述启动应用操作信息，实现对所述应用程序的启动。

优选的，该装置还包括：

启动功能配置单元208，用于在所述辅助程序中配置有启动功能配置文件，所述启动功能配置文件中保存有针对所述应用程序的启动功能操作信息；

所述语音识别单元203具体用于，通过语音识别得到针对应用程序启动功能选项命令；

所述应用控制单元206具体用于，读取所述启动功能配置文件，执行所述启动功能操作信息，实现对所述应用程序的功能选项的启动。

优选的，

所述同一应用确定单元204具体用于，提取所述用户语音特征信息所针对的应用程序的标识，以及提取所述视觉特征信息追踪的应用程序的标识，比对二者标识是否一致，若一致，确定为同一个应用程序。

优选的，

所述签约应用确定单元205具体用于，根据语音识别结果，得到所述用户语音特征信息对应的文本信息；查找与所述文本信息匹配的应用程序的名称或应用程序的功能名称；在预置的签约应用集合中，判断是否包括所述应用程序，若包括，则确定所述应用程序为签约应用。

优选的，该装置还包括：

签约单元209，用于预先在所述辅助程序中确认并记录所述签约应用集合。

优选的，

所述签约单元209具体用于，通过所述辅助程序提供签约应用登记界面，供用户选择签约应用；将用户确认的签约应用的配置信息和操作权限信息进行保存，得到所述签约应用集合。

优选的，该装置还包括：

合法信息采集单元210，用于获取通过所述前置摄像头和麦克风预先采集的合法用户的视觉特征信息和语音特征信息，并记录在所述辅助程序中。

优选的，

所述合法信息采集单元210具体用于，通过所述辅助程序提供采集界面，用户在所述采集界面上验证身份通过后，通过所述前置摄像头和所述麦克风分别进行视觉特征信息和语音特征信息的采集；所述辅助程序获取所述用户的视觉特征信息和语音特征信息，并以用户标识为索引进行保存。

优选的，所述合法用户确定单元202具体用于，将所述用户视觉特征信息与预先采集的合法用户的视觉特征信息进行匹配，以及，将所述用户语音特征信息与预先采集的合法用户的语音特征信息进行匹配；如果两次均匹配成功，则确定当前用户为合法用户。

优选的，

所述用户视觉特征信息包括眼纹信息和视觉焦点信息。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的应用程序的控制装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

可见，本发明提供如下方案：

A1、一种对应用程序进行控制的方法，用于在终端上借助辅助程序对应用程序进行控制，所述方法包括：

分别通过所述终端的前置摄像头和麦克风采集用户视觉特征信息和用户语音特征信息；

所述辅助程序获取所述用户视觉特征信息和所述用户语音特征信息；

根据所述用户视觉特征信息和所述用户语音特征信息判断所述用户是否为合法用户；

如果是合法用户，对所述用户语音特征信息进行语音识别；

根据语音识别结果，判断所述用户语音特征信息所针对的应用程序与所述视觉特征信息追踪的应用程序是否为同一个应用程序；

若是同一个应用程序，判断所述应用程序是否为所述辅助程序的签约应用；

若是签约应用，根据语音识别结果中的控制含义，对所述应用程序进行控制。

A2、如A1所述的方法，还包括：在所述辅助程序中配置有启动应用配置文件，所述启动应用配置文件中保存有启动应用操作信息；

所述对所述应用程序进行控制包括：

通过语音识别得到启动应用程序命令；读取所述启动应用配置文件，执行所述启动应用操作信息，实现对所述应用程序的启动。

A3、如A1所述的方法，还包括：在所述辅助程序中配置有启动功能配置文件，所述启动功能配置文件中保存有针对所述应用程序的启动功能操作信息；

所述对所述应用程序进行控制包括：

通过语音识别得到针对应用程序启动功能选项命令；读取所述启动功能配置文件，执行所述启动功能操作信息，实现对所述应用程序的功能选项的启动。

A4、如A1所述的方法，所述判断所述用户语音特征信息所针对的应用程序与所述视觉特征信息追踪的应用程序是否为同一个应用程序包括：

提取所述用户语音特征信息所针对的应用程序的标识，以及提取所述视觉特征信息追踪的应用程序的标识，比对二者标识是否一致，若一致，确定为同一个应用程序。

A5、如A1所述的方法，所述判断所述应用程序是否为所述辅助程序的签约应用包括：

根据语音识别结果，得到所述用户语音特征信息对应的文本信息；

查找与所述文本信息匹配的应用程序的名称或应用程序的功能名称；

在预置的签约应用集合中，判断是否包括所述应用程序，若包括，则确定所述应用程序为签约应用。

A6、如A5所述的方法，还包括：

预先在所述辅助程序中确认并记录所述签约应用集合。

A7、如A6所述的方法，所述预先在所述辅助程序中确认并记录所述签约应用集合包括：

通过所述辅助程序提供签约应用登记界面，供用户选择签约应用；

将用户确认的签约应用的配置信息和操作权限信息进行保存，得到所述签约应用集合。

A8、如A1所述的方法，所述方法还包括：

分别通过所述前置摄像头和麦克风预先采集合法用户的视觉特征信息语音特征信息，并预先记录在所述辅助程序中。

A9、如A8所述的方法，所述预先采集合法用户的视觉特征信息和语音特征信息包括：

通过所述辅助程序提供采集界面，用户在所述采集界面上验证身份通过后，通过所述前置摄像头和所述麦克风分别进行视觉特征信息和语音特征信息的采集；

所述辅助程序获取所述用户的视觉特征信息和语音特征信息，并以用户标识为索引进行保存。

A10、如A8所述的方法，所述根据所述用户视觉特征信息和所述用户语音特征信息判断所述用户是否为合法用户包括：

将所述用户视觉特征信息与预先采集的合法用户的视觉特征信息进行匹配，以及，将所述用户语音特征信息与预先采集的合法用户的语音特征信息进行匹配；

如果两次均匹配成功，则确定当前用户为合法用户。

A11、如A1至A10任一项所述的方法，所述用户视觉特征信息包括眼纹信息和视觉焦点信息。

B12、一种对应用程序进行控制的装置，用于在终端上借助辅助程序对应用程序进行控制，所述装置包括：

特征信息获取单元，用于获取分别通过所述终端的前置摄像头和麦克风采集的用户视觉特征信息和用户语音特征信息；

合法用户确定单元，用于根据所述用户视觉特征信息和所述用户语音特征信息判断所述用户是否为合法用户；

语音识别单元，用于对所述用户语音特征信息进行语音识别；

同一应用确定单元，用于判断所述用户语音特征信息所针对的应用程序与所述视觉特征信息追踪的应用程序是否为同一个应用程序；

签约应用确定单元，用于判断所述应用程序是否为所述辅助程序的签约应用；

应用控制单元，用于根据语音识别结果中的控制含义，对所述应用程序进行控制。

B13、如B12所述的装置，还包括：

启动应用配置单元，用于在所述辅助程序中配置有启动应用配置文件，所述启动应用配置文件中保存有启动应用操作信息；

所述语音识别单元具体用于，通过语音识别得到启动应用程序命令；

所述应用控制单元具体用于，读取所述启动应用配置文件，执行所述启动应用操作信息，实现对所述应用程序的启动。

B14、如B12所述的方法，还包括：

启动功能配置单元，用于在所述辅助程序中配置有启动功能配置文件，所述启动功能配置文件中保存有针对所述应用程序的启动功能操作信息；

所述语音识别单元具体用于，通过语音识别得到针对应用程序启动功能选项命令；

所述应用控制单元具体用于，读取所述启动功能配置文件，执行所述启动功能操作信息，实现对所述应用程序的功能选项的启动。

B15、如B12所述的装置，所述同一应用确定单元具体用于，提取所述用户语音特征信息所针对的应用程序的标识，以及提取所述视觉特征信息追踪的应用程序的标识，比对二者标识是否一致，若一致，确定为同一个应用程序。

B16、如B12所述的装置，所述签约应用确定单元具体用于，根据语音识别结果，得到所述用户语音特征信息对应的文本信息；查找与所述文本信息匹配的应用程序的名称或应用程序的功能名称；在预置的签约应用集合中，判断是否包括所述应用程序，若包括，则确定所述应用程序为签约应用。

B17、如B16所述的装置，还包括：

签约单元，用于预先在所述辅助程序中确认并记录所述签约应用集合。

B18、如B17所述的装置，所述签约单元具体用于，通过所述辅助程序提供签约应用登记界面，供用户选择签约应用；将用户确认的签约应用的配置信息和操作权限信息进行保存，得到所述签约应用集合。

B19、如B12所述的装置，还包括：

合法信息采集单元，用于获取通过所述前置摄像头和麦克风预先采集的合法用户的视觉特征信息和语音特征信息，并记录在所述辅助程序中。

B20、如B19所述的装置，所述合法信息采集单元具体用于，通过所述辅助程序提供采集界面，用户在所述采集界面上验证身份通过后，通过所述前置摄像头和所述麦克风分别进行视觉特征信息和语音特征信息的采集；所述辅助程序获取所述用户的视觉特征信息和语音特征信息，并以用户标识为索引进行保存。

B21、如B19所述的装置，所述合法用户确定单元具体用于，将所述用户视觉特征信息与预先采集的合法用户的视觉特征信息进行匹配，以及，将所述用户语音特征信息与预先采集的合法用户的语音特征信息进行匹配；如果两次均匹配成功，则确定当前用户为合法用户。

B22、如B12至B21任一项所述的装置，所述用户视觉特征信息包括眼纹信息和视觉焦点信息。

Claims (10)

1.一种对应用程序进行控制的方法，其特征在于，用于在终端上借助辅助程序对应用程序进行控制，所述方法包括：

分别通过所述终端的前置摄像头和麦克风采集用户视觉特征信息和用户语音特征信息；

所述辅助程序获取所述用户视觉特征信息和所述用户语音特征信息；

根据所述用户视觉特征信息和所述用户语音特征信息判断所述用户是否为合法用户；

如果是合法用户，对所述用户语音特征信息进行语音识别；

根据语音识别结果，判断所述用户语音特征信息所针对的应用程序与所述视觉特征信息追踪的应用程序是否为同一个应用程序；

若是同一个应用程序，判断所述应用程序是否为所述辅助程序的签约应用；

若是签约应用，根据语音识别结果中的控制含义，对所述应用程序进行控制。

2.如权利要求1所述的方法，其特征在于，还包括：在所述辅助程序中配置有启动应用配置文件，所述启动应用配置文件中保存有启动应用操作信息；

所述对所述应用程序进行控制包括：

通过语音识别得到启动应用程序命令；读取所述启动应用配置文件，执行所述启动应用操作信息，实现对所述应用程序的启动。

3.如权利要求1所述的方法，其特征在于，还包括：在所述辅助程序中配置有启动功能配置文件，所述启动功能配置文件中保存有针对所述应用程序的启动功能操作信息；

所述对所述应用程序进行控制包括：

通过语音识别得到针对应用程序启动功能选项命令；读取所述启动功能配置文件，执行所述启动功能操作信息，实现对所述应用程序的功能选项的启动。

4.如权利要求1所述的方法，其特征在于，所述判断所述用户语音特征信息所针对的应用程序与所述视觉特征信息追踪的应用程序是否为同一个应用程序包括：

提取所述用户语音特征信息所针对的应用程序的标识，以及提取所述视觉特征信息追踪的应用程序的标识，比对二者标识是否一致，若一致，确定为同一个应用程序。

5.如权利要求1所述的方法，其特征在于，所述判断所述应用程序是否为所述辅助程序的签约应用包括：

根据语音识别结果，得到所述用户语音特征信息对应的文本信息；

查找与所述文本信息匹配的应用程序的名称或应用程序的功能名称；

在预置的签约应用集合中，判断是否包括所述应用程序，若包括，则确定所述应用程序为签约应用。

6.如权利要求5所述的方法，其特征在于，还包括：

预先在所述辅助程序中确认并记录所述签约应用集合。

7.如权利要求6所述的方法，其特征在于，所述预先在所述辅助程序中确认并记录所述签约应用集合包括：

通过所述辅助程序提供签约应用登记界面，供用户选择签约应用；

将用户确认的签约应用的配置信息和操作权限信息进行保存，得到所述签约应用集合。

8.如权利要求1所述的方法，其特征在于，所述方法还包括：

分别通过所述前置摄像头和麦克风预先采集合法用户的视觉特征信息语音特征信息，并预先记录在所述辅助程序中。

9.如权利要求8所述的方法，其特征在于，所述预先采集合法用户的视觉特征信息和语音特征信息包括：

通过所述辅助程序提供采集界面，用户在所述采集界面上验证身份通过后，通过所述前置摄像头和所述麦克风分别进行视觉特征信息和语音特征信息的采集；

所述辅助程序获取所述用户的视觉特征信息和语音特征信息，并以用户标识为索引进行保存。

10.一种对应用程序进行控制的装置，其特征在于，用于在终端上借助辅助程序对应用程序进行控制，所述装置包括：

特征信息获取单元，用于获取分别通过所述终端的前置摄像头和麦克风采集的用户视觉特征信息和用户语音特征信息；

合法用户确定单元，用于根据所述用户视觉特征信息和所述用户语音特征信息判断所述用户是否为合法用户；

语音识别单元，用于对所述用户语音特征信息进行语音识别；

同一应用确定单元，用于判断所述用户语音特征信息所针对的应用程序与所述视觉特征信息追踪的应用程序是否为同一个应用程序；

签约应用确定单元，用于判断所述应用程序是否为所述辅助程序的签约应用；

应用控制单元，用于根据语音识别结果中的控制含义，对所述应用程序进行控制。