CN108376067A - 一种应用操作方法及其设备、存储介质、终端 - Google Patents

Abstract

本发明实施例公开一种应用操作方法及其设备、存储介质、终端，其中方法包括如下步骤：基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；提取所述识别信息中的关键字信息，并基于机器学习生成的信息识别库获取与所述关键字信息相匹配的意图识别结果；当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。采用本发明，可以丰富辅助应用可实现的功能，提升辅助应用的交互性。

Description

一种应用操作方法及其设备、存储介质、终端

技术领域

本发明涉及计算机技术领域，尤其涉及一种应用操作方法及其设备、存储介质、终端。

背景技术

随着计算机技术不断的开发和完善，用户可以在手机和平板电脑等终端中下载并安装各式各样的应用以满足不同的使用功能，例如：游戏应用对应的游戏功能、闹钟应用对应的提醒功能等。

终端应用通常都是针对某一种应用功能的实现，以终端中的虚拟机器人的辅助应用为例，现有的辅助应用仅仅只能实现对终端中的一些管理功能，例如：对桌面应用的整理、对后台进程进行清理等，其所能实现的功能过于单一，且不存在与用户间的任何交互行为，降低了辅助应用的交互性。

发明内容

本发明实施例提供一种应用操作方法及其设备、存储介质、终端，可以丰富辅助应用可实现的功能，提升辅助应用的交互性。

本发明实施例一方面提供了一种应用操作方法，可包括：

基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；

提取所述识别信息中的关键字信息，并基于机器学习生成的信息识别库获取与所述关键字信息相匹配的意图识别结果；

当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。

本发明实施例另一方面提供了一种应用操作设备，可包括：

信息获取单元，用于基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；

结果获取单元，用于提取所述识别信息中的关键字信息，并基于机器学习生成的语义识别库获取与所述关键字信息相匹配的意图识别结果；

意图执行单元，用于当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。

其中，还包括：

界面显示单元，用于在桌面界面中监听对辅助应用的触发操作，并在监听到所述触发操作后显示所述辅助应用对应的辅助应用界面；

其中，所述触发操作包括物理按键触发操作、语音输入触发操作和人脸识别触发操作中的至少一种操作。

其中，还包括：

应用配置单元，用于基于辅助应用界面获取所输入的用户个人信息，并根据所述用户个人信息配置所述辅助应用界面的元素以及所述元素对应的辅助模式；

所述元素包括人物元素、背景元素以及按钮元素，所述辅助模式包括提示模式、人物声线模式、元素动态变化模式、按钮形态模式中的至少一种模式。

其中，所述互动意图结果包括触摸意图结果和闲聊意图结果；

所述意图执行单元具体用于：

当所述意图识别结果为触摸意图结果时，基于所述触摸意图结果所指示的在所述辅助应用界面的触摸位置以及触摸操作类型，获取与所述触摸意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息；

当所述意图识别结果为闲聊意图结果时，基于所述闲聊意图结果所指示的语义信息获取与所述触摸意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息；

所述反馈多媒体信息包括在所述辅助模式下的元素变化信息和语音反馈信息中的至少一种信息。

其中，所述意图执行单元，还用于当所述意图识别结果为电台播报意图结果时，采用所述人物声线模式对当前电台节目列表中的电台节目进行播放；

所述意图执行单元，还用于当所述意图识别结果为资讯播报意图结果时，采用所述提示模式对当前资讯列表中的资讯新闻信息进行播放。

其中，所述意图执行单元，还用于当所述意图识别结果为应用操作意图结果时，获取所述应用操作意图结果中用于操作目标应用的意图行为信息，并调用所述目标应用执行所述意图行为信息所指示的应用操作。

其中，还包括：

信息输出单元，用于当检测到当前的动态信息满足动态规则时，输出所述动态信息对应的提醒信息，所述动态信息包括天气信息、多媒体数据更新信息中的至少一种信息。

其中，还包括：

指令停止单元，用于当所述意图识别结果对应的操作权限未进行解锁处理时，输出操作权限受限的提示信息，并停止执行所述用户操作指令所指示的操作；

数值更新单元，用于当所述意图识别结果对应的操作权限已进行解锁处理，且所述意图识别结果满足亲密度规则时，获取所述意图识别结果对应的亲密度加权值，并采用所述亲密度加权值更新与所述人物元素相关联的亲密度数值。

其中，还包括：

级别更新单元，用于当所述亲密度数值满足目标阈值时，将所述目标阈值对应的亲密度级别确定为与所述人物元素的当前关系级别，并对所述当前关系级别对应的操作权限进行解锁处理。

本发明实施例另一方面提供了一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

本发明实施例另一方面提供了一种终端，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行以下步骤：

基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；

提取所述识别信息中的关键字信息，并基于机器学习生成的信息识别库获取与所述关键字信息相匹配的意图识别结果；

当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。

在本发明实施例中，通过在辅助应用界面中采集针对人物元素的用户操作指令，可以基于该指令获取用户操作的识别信息，再通过获取与该识别信息中的关键字信息相匹配的意图识别结果，在意图识别结果为互动意图结果时，可以控制人物元素输出相应的反馈多媒体信息，通过结合机器学习的方式以及虚拟的人物元素的结合，可以丰富人物元素与用户的交互场景，并且丰富了辅助应用可实现的功能，同时提升了辅助应用的交互性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种应用操作方法的流程示意图；

图2是本发明实施例提供的另一种应用操作方法的流程示意图；

图3是本发明实施例提供的一种应用操作的举例示意图；

图4是本发明实施例提供的另一种应用操作的举例示意图；

图5是本发明实施例提供的另一种应用操作的举例示意图；

图6是本发明实施例提供的另一种应用操作的举例示意图；

图7是本发明实施例提供的另一种应用操作的举例示意图；

图8是本发明实施例提供的另一种应用操作的举例示意图；

图9是本发明实施例提供的另一种应用操作的举例示意图；

图10是本发明实施例提供的另一种应用操作的举例示意图；

图11是本发明实施例提供的另一种应用操作的举例示意图；

图12是本发明实施例提供的另一种应用操作的举例示意图；

图13是本发明实施例提供的另一种应用操作的举例示意图；

图14是本发明实施例提供的另一种应用操作方法的流程示意图；

图15是本发明实施例提供的另一种应用操作的举例示意图；

图16是本发明实施例提供的另一种应用操作的举例示意图；

图17是本发明实施例提供的一种应用操作设备的结构示意图；

图18是本发明实施例提供的另一种应用操作设备的结构示意图；

图19是本发明实施例提供的一种终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的应用操作方法适用于虚拟机器人的可视化辅助应用的操作场景，例如：应用操作设备基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息，所述应用操作设备提取所述识别信息中的关键字信息，并基于机器学习生成的信息识别库获取与所述关键字信息相匹配的意图识别结果，当所述意图识别结果为互动意图结果时，所述应用操作设备获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。通过在辅助应用界面中采集针对人物元素的用户操作指令，可以基于该指令获取用户操作的识别信息，再通过获取与该识别信息中的关键字信息相匹配的意图识别结果，在意图识别结果为互动意图结果时，可以控制人物元素输出相应的反馈多媒体信息，通过结合机器学习的方式以及虚拟的人物元素的结合，可以丰富人物元素与用户的交互场景，并且丰富了辅助应用可实现的功能，同时提升了辅助应用的交互性。

本发明实施例涉及的应用操作设备可以包括个人计算机(PC)、平板电脑、智能手机、笔记本电脑、掌上电脑以及移动互联网设备(MID)等终端设备。

下面将结合附图1-附图16，对本发明实施例提供的应用操作方法进行详细介绍。

请参见图1，为本发明实施例提供了一种应用操作方法的流程示意图。如图1所示，本发明实施例的所述方法可以包括以下步骤S101-步骤S103。

S101，基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；

具体的，应用操作设备可以在所述应用操作设备的桌面界面上展示辅助应用的辅助应用界面，所述辅助应用界面中可以包括虚拟的人物元素、背景元素以及按钮元素等，用户可以通过触摸的形式该输入针对人物元素的用户触摸数据，如用户触摸操作该人物元素时，可以触发该人物元素反馈对应的动画特效，并反馈对应的元素变化信息和/或语音反馈信息，该业务客户端还可以接收用户语音数据，具体可以由应用操作设备的麦克风接收用户说出的用户语音数据，然后该业务客户端从该麦克风获取该用户语音数据等等用户操作指令。

所述应用操作设备获取到用户操作指令后，所述用户操作指令具体可以包括用户语音指令、用户滑动指令和用户点击指令等指令中的任一种，应用操作设备可以对该用户操作指令进行操作识别处理，以获取所述用户操作指令对应的识别信息，所述识别信息具体用于描述对所述用户操作指令进行操作识别的文本信息，例如，应用操作设备具体可以获取用户语音指令对应的文本信息，或者所述应用操作设备可以通过点击人物元素对应的按钮元素或特定部位等，获取的识别信息可以为“点击操作，按钮元素/特定部位”等。

S102，提取所述识别信息中的关键字信息，并基于机器学习生成的信息识别库获取与所述关键字信息相匹配的意图识别结果；

具体的，所述应用操作设备可以提取所述识别信息中的关键字信息，通过预先机器学习生成的信息识别库可以获取与所诉关键字信息相匹配的意图识别结果，所述信息识别库中可以基于预先的机器学习存储有多种操作指令的识别信息与意图识别结果的对应关系，例如，基于该信息识别库检测所提取的关键字信息中是否包含应用信息关键字以及应用行为关键字，若检测为同时包含应用信息关键字以及应用行为关键字，则可以确定基于该文本信息所识别得到的意图识别结果为应用操作意图结果，即说明用户想通过用户语音指令对目标应用进行语音控制，例如，若识别出的文本信息为“给小明发微信消息，天气冷了”，则可以识别出应用信息关键字为“微信”，应用行为关键字为“发微信消息”，进而可以确定该文本信息对应的意图识别结果为应用操作意图结果，且该应用操作意图结果可以包括：意图操作的目标应用信息(即应用“微信”)、意图行为信息(该意图行为信息即为：发送消息“天气冷了”给用户“小明”)，进而后续应用操作设备可以基于该应用操作意图结果对相关应用进行自动化控制；而在所述应用操作设备获取到的识别信息为“点击操作，按钮元素/特定部位”时，可以提取所述识别信息中的关键字信息，例如“点击按钮元素/特定部位”，在信息识别库中检测该按钮元素或特定部位是否预先设置有对目标应用的触发指令，例如，若触摸操作的部位为人物元素的手臂，则可以识别出人物元素的手臂对应的目标应用信息为“音乐应用”，意图行为信息为“播放音乐”等。若检测为未包含应用信息关键字、应用行为关键字、按钮元素和/或特定部位，则可以进一步依据信息识别库获取识别信息中的关键字信息对应的意图识别结果为互动意图结果，即说明用户可能只是想与辅助应用中的人物元素进行休闲互动，例如，用户基于辅助界面的人物元素输入“你好”的用户语音数据，则可以确定该用户语音数据对应的意图识别结果为互动意图结果等。

在本发明实施例中，机器学习的过程可以包括对语音指令对应的识别信息中的关键字信息的语义识别、对滑动指令对应的识别信息中的关键字信息的操作识别以及对点击指令对应的识别信息中的关键字信息的操作识别等。

可选的，也可以将意图识别的过程放在后台服务器进行执行，即应用操作设备可以发送用户操作指令到后台服务器，使后台服务器识别出对应的意图识别结果，并将意图识别结果返回到应用操作设备。

S103，当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息；

具体的，当所述意图识别结果为互动意图结果时，即检测到所述用户操作指令对应的识别信息中的关键字信息中未包含应用信息关键字、应用行为关键字、按钮元素和/或特定部位，且该关键字信息在信息识别库中对应的意图识别结果为互动意图结果，则说明用户可能只是想与辅助应用中的人物元素进行休闲互动，进而应用操作设备可以进一步根据互动意图结果选择相匹配的反馈多媒体信息，并输出该反馈多媒体信息，该反馈多媒体信息可以包括元素变化信息和语音反馈信息中的至少一种信息，所述元素变化信息可以包括对辅助应用界面中的人物元素、背景元素的动态调整信息，例如，对人物元素的肢体动作进行调整、对人物元素的口型进行调整、对背景元素中的云朵位置进行调整等，所述元素变化信息还可以包括在所述辅助应用界面增加的文本信息等，所述文本信息可以采用气泡的方式进行显示，所述语音反馈信息具体可以为响应所述用户操作指令指示的互动意图结果所反馈的语音信息。例如，用户基于辅助界面的人物元素输入“你好”的用户语音数据，则可以确定该用户语音数据对应的意图识别结果为互动意图结果，且可以控制所述人物元素输出所述反馈多媒体信息，例如，元素变化信息为人物元素挥动手臂，并输出文本信息“你好”等。

在本发明实施例中，通过在辅助应用界面中采集针对人物元素的用户操作指令，可以基于该指令获取用户操作的识别信息，再通过获取与该识别信息中的关键字信息相匹配的意图识别结果，在意图识别结果为互动意图结果时，可以控制人物元素输出相应的反馈多媒体信息，通过结合机器学习的方式以及虚拟的人物元素的结合，可以丰富人物元素与用户的交互场景，并且丰富了辅助应用可实现的功能，同时提升了辅助应用的交互性。

请参见图2，为本发明实施例提供了另一种应用操作方法的流程示意图。如图2所示，本发明实施例的所述方法可以包括以下步骤S201-步骤S209。

S201，在桌面界面中监听对辅助应用的触发操作，并在监听到所述触发操作后显示所述辅助应用对应的辅助应用界面；

具体的，应用操作设备可以在桌面界面中监听对辅助应用的触发操作，所述桌面界面具体可以为所述应用操作设备中的常驻默认的主界面，例如：开机后、设备解锁后或者应用退出后所切换到的界面即为所述桌面界面，所述桌面界面可以包括已下载并安装的应用图标、天气信息、时间、电源标识、无线信号标识等元素，进一步的，所述桌面界面可以包括图标界面和壁纸界面，所述图标界面具体可以包括已下载并安装的应用图标、天气信息、时间、电源标识、无线信号标识等元素，所述壁纸界面具体可以包括构成桌面背景的一个或多个背景元素，所述背景元素具体为一种或多种色彩构成的静态图画、动态图画等，所述图标界面的图层位置位于所述壁纸界面的图层位置之上，以此叠合形成所述桌面界面，请一并参见图3，如图3所示，桌面界面可以包括图标界面以及壁纸界面，壁纸界面相当于所述图标界面的背景图画，并置于所述图标界面的图层位置的下方，而在触发辅助应用启动后，辅助应用所展示的辅助应用界面则是覆盖于所述图标界面之上。当然，所述桌面界面也可以仅为一个图层，该图层上包括图标元素集合和壁纸元素集合等，所述图标元素集合具体可以包括已下载并安装的应用图标、天气信息、时间、电源标识、无线信号标识等元素，所述壁纸元素集合具体可以包括构成桌面背景的一个或多个背景元素，所述背景元素具体为一种或多种色彩构成的静态图画、动态图画等，所述图标元素集合可以覆盖于所述壁纸元素集合上，请一并参见图4，如图4所示，当桌面界面仅为一个图层时，桌面界面中图标元素集合均是默认覆盖所述壁纸元素集合，而在触发辅助应用启动后，辅助应用所展示的辅助应用界面的图层位置则是覆盖于所述桌面界面的图层位置之上。

当在所述桌面界面上监听到对辅助应用的触发操作后，所述触发操作可以包括物理按键触发操作、语音输入触发操作和人脸识别触发操作中的至少一种操作，例如，对桌面界面中的图标元素的点击操作、识别麦克风接收到的语音指令所指示的语音操作等，所述应用操作设备可以启动所述辅助应用，并显示所述辅助应用对应的辅助应用界面，可以理解的是，当所述辅助应用为首次安装使用的状态时，可以转入执行步骤S202，当所述辅助应用为已经完成登录设置的状态时，可以转入执行步骤S203。

S202，基于辅助应用界面获取所输入的用户个人信息，并根据所述用户个人信息配置所述辅助应用界面的元素以及所述元素对应的辅助模式；

具体的，当所述辅助应用为首次安装使用的状态时，所述应用操作设备提供用户选择对辅助应用进行登录的账号的选择，例如，采用微信账号登录、采用QQ账号登录等，请一并参见图5，如图5所示的登录界面，所述登录界面可以存在QQ登录和微信登录的两个按钮，当用户选择了按钮进行账号登录后，所述应用操作设备还可以同步检测每个登录账号是否预先关联过辅助应用，例如，用户在历史使用的手机中采用过QQ账号登录辅助应用，而在用户更换新的手机时，在首次安装使用辅助应用时，该新的手机可以输出提示信息以提示用户的QQ账号下存在历史关联辅助应用的历史配置信息等，请一并参见图6，如图6所示，在检测到存在历史登录账号的情况时，可以输出数据冲突的提示信息，以提示用户当前存在关系级别(所述关系级别在下文中进行详细介绍)较高的历史配置信息，用户可以基于实际需求选择替换与否，因而在用户选择历史关联的账号登录辅助应用时，所述应用操作设备可以拉取该账号针对所述辅助应用所对应的历史配置信息，并采用所述历史配置信息配置所述辅助应用界面的元素以及所述元素对应的辅助模式。

当选择了新的账号登录辅助应用时，所述应用操作设备可以基于辅助应用界面输出提示信息以引导用户输入用户个人信息，需要说明的是，所述辅助应用界面中最终显示的元素的类型具体可以依据用户个人信息进行设定，所述辅助应用界面的元素具体可以包括人物元素、背景元素以及按钮元素等，所述人物元素具体为所述辅助应用界面中与用户进行交互的主要元素，其具体形态为人物形态，所述背景元素具体为所述辅助应用界面中设置的背景素材，所述按钮元素具体为所述辅助应用针对人物元素可以提供的应用功能的入口，可以置于所述辅助应用界面的顶端(如图7所示灰色区域)或者侧边(如图8所示灰色区域)等，所述辅助模式可以包括提示模式、人物声线模式、元素动态变化模式、按钮形态模式中的至少一种模式，所述提示模式具体可以为对于提示信息的气泡样式、显示位置以及资讯界面的排版方式等，所述人物声线模式具体可以为配合所述人物元素的声音信息，即不同人物元素可以具备其各自的声音信息，所述元素动态变化模式具体可以为配合人物元素、背景元素的动态效果的展示信息，所述按钮形态模式具体为搭配人物元素或者背景元素的色彩所配置的按钮元素的形状、色彩等信息。

所述用户个人信息可以包括用户性别，所述应用操作设备可以基于用户性别确定当前的人物元素的性别，请一并参见图9，如图9所示，所述辅助应用界面输出提示信息可以包括“你这么可爱，一定是…”，并提供“男孩子”和“女孩子”两个选项按钮引导用户进行选择。所述用户个人信息可选的还可以包括用户昵称、用户生日、用户身份等。当然，用户也可以在进入到辅助应用的设置页面中进行完成用户个人信息的填写以及登录的过程。

可选的，所述辅助应用还需要获取系统权限，所述系统权限包括存储权限、录音权限等，请一并参见图10，如图10所示，可以提供所需要的系统权限，以及系统权限针对辅助应用的简单介绍，同时配置有确认按钮，当用户点击该确认按钮时，系统将所请求的系统权限分配给所述辅助应用，即表示辅助应用可以使用系统中的存储以及麦克风等功能。

S203，基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；

具体的，应用操作设备可以在所述应用操作设备的桌面界面上展示辅助应用的辅助应用界面，所述辅助应用界面中可以包括虚拟的人物元素、背景元素以及按钮元素等，用户可以通过触摸的形式该输入针对人物元素的用户触摸数据，如用户触摸操作该人物元素时，可以触发该人物元素反馈对应的动画特效，并反馈对应的元素变化信息和/或语音反馈信息，该业务客户端还可以接收用户语音数据，具体可以由应用操作设备的麦克风接收用户说出的用户语音数据，然后该业务客户端从该麦克风获取该用户语音数据等等用户操作指令。

所述应用操作设备获取到用户操作指令后，所述用户操作指令具体可以包括用户语音指令、用户滑动指令和用户点击指令等指令中的任一种，应用操作设备可以对该用户操作指令进行操作识别处理，以获取所述用户操作指令对应的识别信息，所述识别信息具体用于描述对所述用户操作指令进行操作识别的文本信息，例如，应用操作设备具体可以获取用户语音指令对应的文本信息，或者所述应用操作设备可以通过点击人物元素对应的按钮元素或特定部位等，获取的识别信息可以为“点击操作，按钮元素/特定部位”等。

在本发明实施例中，机器学习的过程可以包括对语音指令对应的识别信息中的关键字信息的语义识别、对滑动指令对应的识别信息中的关键字信息的操作识别以及对点击指令对应的识别信息中的关键字信息的操作识别等。

可选的，也可以将意图识别的过程放在后台服务器进行执行，即应用操作设备可以发送用户操作指令到后台服务器，使后台服务器识别出对应的意图识别结果，并将意图识别结果返回到应用操作设备。

S204，提取所述识别信息中的关键字信息，并基于机器学习生成的信息识别库获取与所述关键字信息相匹配的意图识别结果；

具体的，所述应用操作设备可以提取所述识别信息中的关键字信息，通过预先机器学习生成的信息识别库可以获取与所诉关键字信息相匹配的意图识别结果，所述信息识别库中可以基于预先的机器学习存储有多种操作指令的识别信息与意图识别结果的对应关系，例如，基于该信息识别库检测所提取的关键字信息中是否包含应用信息关键字以及应用行为关键字，若检测为同时包含应用信息关键字以及应用行为关键字，则可以确定基于该文本信息所识别得到的意图识别结果为应用操作意图结果，即说明用户想通过用户语音指令对目标应用进行语音控制，例如，若识别出的文本信息为“给小明发微信消息，天气冷了”，则可以识别出应用信息关键字为“微信”，应用行为关键字为“发微信消息”，进而可以确定该文本信息对应的意图识别结果为应用操作意图结果，且该应用操作意图结果可以包括：意图操作的目标应用信息(即应用“微信”)、意图行为信息(该意图行为信息即为：发送消息“天气冷了”给用户“小明”)，进而后续应用操作设备可以基于该应用操作意图结果对相关应用进行自动化控制；而在所述应用操作设备获取到的识别信息为“点击操作，按钮元素/特定部位”时，可以提取所述识别信息中的关键字信息，例如“点击按钮元素/特定部位”，在信息识别库中检测该按钮元素或特定部位是否预先设置有对目标应用的触发指令，例如，若触摸操作的部位为人物元素的手臂，则可以识别出人物元素的手臂对应的目标应用信息为“音乐应用”，意图行为信息为“播放音乐”等。若检测为未包含应用信息关键字、应用行为关键字、按钮元素和/或特定部位，则可以进一步依据信息识别库获取识别信息中的关键字信息对应的意图识别结果为互动意图结果，即说明用户可能只是想与辅助应用中的人物元素进行休闲互动，例如，用户基于辅助界面的人物元素输入“你好”的用户语音数据，则可以确定该用户语音数据对应的意图识别结果为互动意图结果等。

可选的，也可以将意图识别的过程放在后台服务器进行执行，即应用操作设备可以发送用户操作指令到后台服务器，使后台服务器识别出对应的意图识别结果，并将意图识别结果返回到应用操作设备。

S205，当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息；

具体的，当所述意图识别结果为互动意图结果时，即检测到所述用户操作指令对应的识别信息中的关键字信息中未包含应用信息关键字、应用行为关键字、按钮元素和/或特定部位，且该关键字信息在信息识别库中对应的意图识别结果为互动意图结果，则说明用户可能只是想与辅助应用中的人物元素进行休闲互动，进而应用操作设备可以进一步根据互动意图结果选择相匹配的反馈多媒体信息，并输出该反馈多媒体信息，该反馈多媒体信息可以包括元素变化信息和语音反馈信息中的至少一种信息，所述元素变化信息可以包括对辅助应用界面中的人物元素、背景元素的动态调整信息，例如，对人物元素的肢体动作进行调整、对人物元素的口型进行调整、对背景元素中的云朵位置进行调整等，所述元素变化信息还可以包括在所述辅助应用界面增加的文本信息等，所述文本信息可以采用气泡的方式进行显示，所述语音反馈信息具体可以为响应所述用户操作指令指示的互动意图结果所反馈的语音信息。例如，用户基于辅助界面的人物元素输入“你好”的用户语音数据，则可以确定该用户语音数据对应的意图识别结果为互动意图结果，且可以控制所述人物元素输出所述反馈多媒体信息，例如，元素变化信息为人物元素挥动手臂，并输出文本信息“你好”等。

可选的，所述互动意图结果可以包括触摸意图结果和闲聊意图结果。针对触摸意图结果，即检测到所述用户触摸数据中未包含特定按钮元素和/或特定部位，所述应用操作设备可以确定所述意图识别结果为触摸意图结果，所述应用操作设备可以基于所述触摸意图结果所指示的在所述辅助应用界面的触摸位置以及触摸操作类型，获取与所述触摸意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息，所述触摸位置具体为在所述辅助应用界面中监听到用户触摸数据所指示的操作位置，例如，按钮元素、人物元素的部位等，所述触摸操作类型可以包括但不限于滑动、触摸、点击等操作类型，所述应用操作设备可以预先设置有与所述触摸位置以及触摸操作类型相匹配的反馈多媒体信息，所述应用操作设备可以获取所述反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。

针对闲聊意图结果，即检测到所述用户语音数据中未包含应用信息关键字、应用行为关键字，所述应用操作设备可以确定所述意图识别结果为闲聊意图结果，所述应用操作设备可以基于所述闲聊意图结果所指示的语义信息获取与所述触摸意图结果相匹配的反馈多媒体信息，可选的，所述应用操作设备可以基于用户语音数据转换的文本信息，对该文本信息进行语义识别以获取该用户语音数据对应的语义信息，所述应用操作设备预先设置有与所述语义信息相匹配的反馈多媒体信息，所述应用操作设备可以获取所述反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。

当然，对于未设置的触摸位置以及触摸操作类型，或者语义信息，所述人物素材可以不对其进行响应。

S206，当所述意图识别结果为电台播报意图结果时，采用所述人物声线模式对当前电台节目列表中的电台节目进行播放；

具体的，当所述意图识别结果为电台播报意图结果时，请再一并参见图7，如图7所示辅助应用界面中，当按钮元素中电台按钮存在点击操作的用户操作指令时，所述应用操作设备可以确定所述意图识别结果为电台播报意图结果，可选的，所述应用操作设备可以跳转至辅助应用中的电台播报界面中，并采用所述人物声线模式对当前电台节目列表中的电台节目进行播放，可以理解的是，所述电台节目列表中的电台节目可以由辅助应用定时向应用服务器请求更新，或者在应用服务器存在更新的电台节目时，由应用服务器下发至所述应用操作设备中，并在辅助应用启动时，预加载更新的电台节目等，请一并参见图11，如图11所示的电台播报界面，所述电台播报界面可以包括多媒体播放框以及电台播报组件等，所述电台播报组件可以包括电台节目列表的浏览按钮、暂停/播放的切换按钮、下一节目的选择按钮等，所述多媒体播放框中可以固定显示人物元素在进行电台播报的图片，也可以为针对不同电台节目所设置的图片、视频等多媒体数据。

可选的，用户也可以在电台播报界面中选择返回按钮，以返回至辅助应用界面中，此时所述辅助应用界面中可以显示电台播报的工具栏，优选的，可以采用气泡的方式对所述工具栏进行显示，此时可以继续对所述电台节目进行播报。当再次点击所述电台按钮或者点击该工具栏时，则可以再次跳转至所述电台播报界面中。

S207，当所述意图识别结果为资讯播报意图结果时，采用所述提示模式对当前资讯列表中的资讯新闻信息进行播放；

具体的，当所述意图识别结果为资讯播报意图结果时，请再一并参见图7，如图7所示辅助应用界面中，当按钮元素中资讯按钮存在点击操作的用户操作指令时，所述应用操作设备可以确定所述意图识别结果为资讯播报意图结果，可选的，所述应用操作设备可以跳转至辅助应用中的资讯界面中，并采用所述提示模式中所指示的排版方式对当前资讯列表中的资讯新闻信息进行显示与播报，可以理解的是，所述资讯列表中的资讯新闻信息可以由辅助应用定时向应用服务器请求更新，或者在应用服务器存在更新的资讯新闻信息时，由应用服务器下发至所述应用操作设备中，并在辅助应用启动时，预加载更新的资讯新闻信息等，请一并参见图12，如图12所示的资讯界面，所述资讯界面可以包括资讯新闻信息以及资讯播报组件等，所述资讯播报组件可以包括资讯播放的开关按钮、播报时间按钮等，所述资讯新闻信息具体可以包括资讯或新闻的主题、图片、视频等多媒体数据，当检测到对所述资讯新闻信息的选中操作时，例如，点击操作等，可以对所述资讯新闻信息的详细内容进行显示。可选的，在每一条资讯新闻信息的下方均设置有点赞、收藏、分享等按钮，可以理解的是，用户可以在资讯页面中点击收藏按钮以查看所收藏的资讯新闻信息。

S208，当所述意图识别结果为应用操作意图结果时，获取所述应用操作意图结果中用于操作目标应用的意图行为信息，并调用所述目标应用执行所述意图行为信息所指示的应用操作；

具体的，若意图识别结果为应用操作意图结果，则应用操作设备可以获取所述应用操作意图结果中用于操作目标应用的意图行为信息，并可以根据应用操作意图结果中的意图操作的应用信息，确定相关联的所有应用。例如，若意图操作的应用信息为“微信”，则确定出的应用包括微信应用；若意图操作的目标应用信息为“QQ空间”，则确定出的应用包括手机QQ应用(由于通过手机QQ应用也可以进入到“QQ空间”，所以可以将手机QQ应用也确定为相关联的应用)以及QQ空间应用。再进一步从所确定出的所有应用中选择应用操作设备上已安装的应用，若选择出的已安装的应用的数量为1，则可以直接将该应用确定为目标应用，即后续可以对该目标应用实现自动化操作。若选择出的已安装的应用的数量大于或等于2，则可以根据预先设置的所有应用的优先级，在所选择出的已安装的应用中，将最高优先级的应用确定为目标应用，例如，相关联且已安装的应用包括手机QQ应用以及QQ空间应用，若QQ空间应用的优先级高于手机QQ应用的优先级，则可以确定QQ空间应用为目标应用，即后续可以对QQ空间应用实现自动化操作。

S209，当检测到当前的动态信息满足动态规则时，输出所述动态信息对应的提醒信息；

具体的，所述辅助应用还提供提醒功能，请再一并参见图7，如图7所示辅助应用界面中，当按钮元素中提醒按钮存在点击操作的用户操作指令时，表示基于用户操作指令所识别的意图识别结果为提醒设置意图结果，所述应用操作设备可以由辅助应用界面进入到所述辅助应用中的提醒功能的设置界面，所述提醒功能可以包括闹钟提醒、日程提醒以及动态提醒，用户可以在闹钟提醒中设定相应的闹钟时间，所述应用操作设备在到达闹钟时间时可以通过铃声、振动等方式进行提醒；用户可以在日程提醒中选择对应的日期，并在该日期下输入所需提醒的日程以及所需提醒的时间，当到达该日期下的提醒的时间，所述应用操作设备可以以常驻栏通知、铃声、振动等方式进行提醒；针对动态提醒，请一并参见图13，如图13所示的动态提醒界面中可以包括一些动态使用场景，例如：下雨提醒我带伞、天冷时提醒我穿秋裤等，由于辅助应用可以实时获取到预测的天气情况，因而针对“下雨提醒我带伞”的动态使用场景，其所预先设定的动态规则为：当预测的天气情况显示为阴天、小雨、中雨、大雨、暴雨时均表示下雨。当检测到当前的动态信息满足动态规则时，所述应用操作设备可以输出所述动态信息对应的提醒信息，所述动态信息可以包括天气信息、多媒体数据更新信息中的至少一种信息，所述当前的动态信息可以依据地域、时间等条件进行实时或定时的获取，例如，针对“下雨提醒我带伞”的动态使用场景，在当前的天气信息满足下雨的动态规则时，所述应用操作设备可以获取该动态信息对应的提醒信息，例如，提醒信息为“今天可能会下雨，记得带伞哦”，所述应用操作设备可以以常驻栏通知、铃声、振动等方式对该提醒信息进行输出。可选的，所述动态提醒的设置可以由辅助应用提供多种动态提醒场景，用户可以在动态提醒界面选择是否对这些动态提醒场景中的一个或多个进行启动，所述辅助应用可以针对用户所启动的动态提醒场景对应的动态信息进行实时监听，当然，动态提醒的设置也可以是由辅助应用在设计时预先嵌入的功能，即默认设置多种用户日常所需的动态提醒场景，可以无需用户自行启动，就可以实时监听与这些动态提醒场景有关的动态信息，并输出相应的提示信息。

本发明实施例的步骤S209可以在设置了动态提醒后的任一时刻进行动态提醒，仅需满足动态规则即可，步骤S209的执行顺序不一定按照图2所示流程图的顺序执行。

在本发明实施例中，所述按钮元素还可以包括音频录制按钮以及装扮按钮等，当按钮元素中音频录制按钮存在点击操作的用户操作指令时，表示基于用户操作指令所识别的意图识别结果为音频录制意图结果，所述应用操作设备可以由辅助应用界面进入到所述辅助应用中的音频录制界面，用户可以通过音频录制界面中的模板按钮选择对应的卡通人物形象，在音频录制界面中的开始录音按钮上存在点击操作时，表示当前开始对用户输入的语音数据进行录制，同时将用户所输入的语音数据以该卡通人物形象关联的声音类型进行转换，可以理解的是，每个卡通人物形象均对应有各自的声音类型，所述声音类型具体包括该卡通人物形象的音色、音调等信息，在录制完毕后，可以将得到的声音类型对应的所述语音数据存储于系统存储中，便于后续进行回放、分享等操作。

请再一并参见图7，如图7所示的辅助应用界面，当按钮元素中装扮按钮存在点击操作的用户操作指令时，表示基于用户操作指令所识别的意图识别结果为元素装扮意图结果，所述应用操作设备可以由辅助应用界面进入到所述辅助应用中的元素装扮界面，在所述元素装扮界面中可以显示针对人物元素的可装扮服装，以及针对背景元素的可更换背景，可以通过监听用户在可装扮服装或可更换背景中的点击操作获取所选择服装或背景，并将所选择的服装或背景对元素装扮界面中提供的当前人物元素的服装或者背景元素进行替换，当检测到元素装扮界面中的保存按钮存在点击操作时，可以回退至所述辅助应用界面，此时辅助应用界面中的人物元素的服装具体可以为该选择的服装，背景元素具体可以为该选择的背景。

在本发明实施例中，在辅助应用实现上述相应的功能外，还可以提供对人物元素的养成功能，具体内容可以参见图14所示步骤S301-步骤S303。

S301，当所述意图识别结果对应的操作权限未进行解锁处理时，输出操作权限受限的提示信息，并停止执行所述用户操作指令所指示的操作；

具体的，所述应用操作设备在获取到所述用户操作指令对应的意图识别结果后，所述应用操作设备可以进一步判断该意图识别结果所对应的操作权限是否已经进行了解锁处理，其中，所述操作权限可以依据用户与该人物元素的关系级别进行相应的解锁处理，所述意图识别结果具体可以表示为所选择执行的辅助应用中的功能，所述功能具体可以包括但不限于应用操作、互动、电台播报、资讯播报、提醒、音频录制以及元素装扮等，所述解锁处理可以表示为开放当前意图识别结果所对应的功能的操作，若某一功能进行了解锁处理，则表示用户可以使用该功能，若某一功能未进行解锁处理，则表示用户无法使用该功能。

当所述意图识别结果对应的功能的操作权限未进行解锁处理时，所述应用操作设备可以输出操作权限受限的提示信息，以提示用户尽可能多的完成与该人物元素的亲密度任务，同时针对未进行解锁处理的功能的操作权限，所述应用操作设备无法继续执行所述用户操作指令所指示的操作，即无法使用该功能，因此所述应用操作设备将停止执行所述用户操作指令所指示的操作。

S302，当所述意图识别结果对应的操作权限已进行解锁处理，且所述意图识别结果满足亲密度规则时，获取所述意图识别结果对应的亲密度加权值，并采用所述亲密度加权值更新与所述人物元素相关联的亲密度数值；

具体的，当所述意图识别结果对应的操作权限已进行解锁处理时，表示所述意图识别结果对应的功能的操作权限已经开放，即用户可以使用该功能，所述应用操作设备可以继续响应所述用户操作指令所指示的操作，例如，进入意图识别结果对应的功能界面等，并且在所述意图识别结果满足亲密度规则时，所述应用操作设备可以进一步获取所述意图识别结果对应的亲密度加权值，可以理解的是，所述意图识别结果具体可以表示为所选择执行的辅助应用中的功能，因此针对这些意图识别结果可以设置对应的亲密度规则，所述亲密度规则具体可以为意图识别结果与亲密度加权值的对应关系，例如，针对互动意图结果，假设亲密度规则中设置有抚摸人物元素头部的意图识别结果以及该意图识别结果对应的亲密度加权值为5，如果当前获取到用户操作指令对应的意图识别结果为互动意图结果，且该互动意图结果指示为抚摸人物元素头部，则可以确定该互动意图结果满足亲密度规则，并且获取对应的亲密度加权值“5”，所述应用操作设备可以采用所述亲密度加权值更新与所述人物元素相关联的亲密度数值，可选的，所述辅助应用中设置有与所述人物元素相关联的亲密度数值，所述亲密度数值的初始值可以为0，随着不断获取意图识别结果对应的亲密度加权值，可以采用这些亲密度加权值进行累加以生成当前的亲密度数值。

可选的，所述辅助应用针对亲密度数值还可以设置有相应的任务，可以在通过操作辅助应用实现不同的意图识别结果以获取相应的亲密度加权值的基础上，进一步完成这些任务，例如，抚摸人物元素1次的亲密度加权值为5，存在任务为抚摸人物元素10次可以获取的亲密度加权值为10，即表示用户在抚摸人物元素10次后可以获得一共60的亲密度加权值，所述任务可以包括规定了完成期限的任务和无限期的任务，所述规定了完成期限的任务具体可以表示为在规定期限内完成指定功能的操作或指定功能操作的次数才可以获取到亲密度加权值的任务，例如，每日任务、每周任务等，所述无限期的任务具体可以表示为完成指定功能的操作或指定功能操作的次数才可以获取到亲密度加权值的任务，例如，成就任务等。再请一并参见图7，如图7所示的辅助应用界面中，当亲密度按钮存在点击操作时，表示对亲密度的任务进行查看，此时可以展示每日任务(如图15所示)和成就任务(如图16所示)，当存在完成的任务时，可以在对应任务的栏目中显示领取按钮，通过对领取按钮的点击操作，可以将该任务对应的亲密度加权值累加到所述亲密度数值中，同时该任务可以从任务栏中删除。

S303，当所述亲密度数值满足目标阈值时，将所述目标阈值对应的亲密度级别确定为与所述人物元素的当前关系级别，并对所述当前关系级别对应的操作权限进行解锁处理；

具体的，当所述亲密度数值满足目标阈值时，所述应用操作设备可以将所述目标阈值对应的亲密度级别确定为用户与所述人物元素的当前关系级别，针对不同的亲密度级别均设置有对应的目标阈值，当亲密度数值累加至某一目标阈值时，可以将与所述人物元素的当前关系级别调整为该目标阈值对应的亲密度级别，请参见下表1：

目标阈值	亲密度级别
		0	1级
200	2级
		400	3级
1000	4级

在当前亲密度数值为60时，其满足“0”的目标阈值，则当前关系级别为“0”的目标阈值对应的亲密度级别“1级”，在当前亲密度数值为200时，其满足“200”的目标阈值，则当前关系级别为“200”的目标阈值对应的亲密度级别“2级”，以此类推，当然，表1仅为举例，具体的目标阈值和亲密度级别可以依据实际需求进行设置。

在调整与所述人物元素的当前关系级别后，所述应用操作设备还可以对所述当前关系级别对应的操作权限进行解锁处理，可选的，对于不同的关系级别，可以实现辅助应用中的不同功能的解锁处理，即在初始的关系级别下，仅将辅助应用的部分功能进行解锁处理开放给用户使用，随着关系级别的提升，再逐渐对剩余功能进行解锁处理，所述辅助功能还设置有下表2：

亲密度级别	目标阈值	解锁功能
			1级	0	互动、提醒、应用操作
2级	200	资讯播报
			3级	400	电台播报
4级	1000	元素装扮、音频录制

基于表2可知，当亲密度数值达到相应的目标阈值时，可以将关系级别提升为该目标阈值对应的亲密度级别，同时可以对相应的功能进行解锁，在实现辅助应用的多功能的前提下，有效的增加了辅助应用的交互性。

在本发明实施例中，通过在辅助应用界面中采集针对人物元素的用户操作指令，可以基于该指令获取用户操作的识别信息，再通过获取与该识别信息中的关键字信息相匹配的意图识别结果，在意图识别结果为互动意图结果时，可以控制人物元素输出相应的反馈多媒体信息，通过结合机器学习的方式以及虚拟的人物元素的结合，可以丰富人物元素与用户的交互场景，并且丰富了辅助应用可实现的功能，同时提升了辅助应用的交互性；通过在初始使用辅助应用时获取用户个人信息，可以对辅助应用界面的元素及模式进行个性化的自动配置，无需用户手动进行选择配置，在满足用户需求的基础上提升了辅助应用界面配置的效率；通过利用人物元素的人物声线模式对电台节目、资讯新闻信息的播报方式，增强了辅助应用中虚拟机器人的存在感，同时辅助应用还具备依据天气信息和多媒体更新信息的动态提醒功能，可以无需设置固定的时间进行提醒，动态的对提示信息进行输出，以及在意图识别结果为应用操作意图结果时，可以根据该操作意图进一步调用第三方应用执行指示的应用操作，进一步丰富了辅助应用可实现的功能；通过亲密度的人物元素的养成设置以及相应的功能解锁设置，可以在实现辅助应用的多功能的前提下，进一步有效的增加了辅助应用的交互性。

下面将结合附图17和附图18，对本发明实施例提供的应用操作设备进行详细介绍。需要说明的是，附图17和附图18所示的设备，用于执行本发明图1-图16所示实施例的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明图1-图16所示的实施例。

请参见图17，为本发明实施例提供了一种应用操作设备的结构示意图。如图17所示，本发明实施例的所述应用操作设备1可以包括：信息获取单元11、结果获取单元12和意图执行单元13。

信息获取单元11，用于基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；

结果获取单元12，用于提取所述识别信息中的关键字信息，并基于机器学习生成的语义识别库获取与所述关键字信息相匹配的意图识别结果；

意图执行单元13，用于当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。

在本发明实施例中，通过在辅助应用界面中采集针对人物元素的用户操作指令，可以基于该指令获取用户操作的识别信息，再通过获取与该识别信息中的关键字信息相匹配的意图识别结果，在意图识别结果为互动意图结果时，可以控制人物元素输出相应的反馈多媒体信息，通过结合机器学习的方式以及虚拟的人物元素的结合，可以丰富人物元素与用户的交互场景，并且丰富了辅助应用可实现的功能，同时提升了辅助应用的交互性。

请参见图18，为本发明实施例提供了另一种应用操作设备的结构示意图。如图18所示，本发明实施例的所述应用操作设备1可以包括：信息获取单元11、结果获取单元12、意图执行单元13、界面显示单元14、应用配置单元15、信息输出单元16、指令停止单元17、数值更新单元18和级别更新单元19。

界面显示单元14，用于在桌面界面中监听对辅助应用的触发操作，并在监听到所述触发操作后显示所述辅助应用对应的辅助应用界面；

应用配置单元15，用于基于辅助应用界面获取所输入的用户个人信息，并根据所述用户个人信息配置所述辅助应用界面的元素以及所述元素对应的辅助模式；

信息获取单元11，用于基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；

结果获取单元12，用于提取所述识别信息中的关键字信息，并基于机器学习生成的语义识别库获取与所述关键字信息相匹配的意图识别结果；

意图执行单元13，用于当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息；

其中，所述互动意图结果包括触摸意图结果和闲聊意图结果；

所述意图执行单元12具体用于：

当所述意图识别结果为触摸意图结果时，基于所述触摸意图结果所指示的在所述辅助应用界面的触摸位置以及触摸操作类型，获取与所述触摸意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息；

当所述意图识别结果为闲聊意图结果时，基于所述闲聊意图结果所指示的语义信息获取与所述触摸意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息；

所述反馈多媒体信息包括在所述辅助模式下的元素变化信息和语音反馈信息中的至少一种信息。

所述意图执行单元12，还用于当所述意图识别结果为电台播报意图结果时，采用所述人物声线模式对当前电台节目列表中的电台节目进行播放；

所述意图执行单元12，还用于当所述意图识别结果为资讯播报意图结果时，采用所述提示模式对当前资讯列表中的资讯新闻信息进行播放；

所述意图执行单元12，还用于当所述意图识别结果为应用操作意图结果时，获取所述应用操作意图结果中用于操作目标应用的意图行为信息，并调用所述目标应用执行所述意图行为信息所指示的应用操作。

信息输出单元16，用于当检测到当前的动态信息满足动态规则时，输出所述动态信息对应的提醒信息；

其中，所述动态信息包括天气信息、多媒体数据更新信息中的至少一种信息。

指令停止单元17，用于当所述意图识别结果对应的操作权限未进行解锁处理时，输出操作权限受限的提示信息，并停止执行所述用户操作指令所指示的操作；

数值更新单元18，用于当所述意图识别结果对应的操作权限已进行解锁处理，且所述意图识别结果满足亲密度规则时，获取所述意图识别结果对应的亲密度加权值，并采用所述亲密度加权值更新与所述人物元素相关联的亲密度数值；

级别更新单元19，用于当所述亲密度数值满足目标阈值时，将所述目标阈值对应的亲密度级别确定为与所述人物元素的当前关系级别，并对所述当前关系级别对应的操作权限进行解锁处理。

在本发明实施例中，通过在辅助应用界面中采集针对人物元素的用户操作指令，可以基于该指令获取用户操作的识别信息，再通过获取与该识别信息中的关键字信息相匹配的意图识别结果，在意图识别结果为互动意图结果时，可以控制人物元素输出相应的反馈多媒体信息，通过结合机器学习的方式以及虚拟的人物元素的结合，可以丰富人物元素与用户的交互场景，并且丰富了辅助应用可实现的功能，同时提升了辅助应用的交互性；通过在初始使用辅助应用时获取用户个人信息，可以对辅助应用界面的元素及模式进行个性化的自动配置，无需用户手动进行选择配置，在满足用户需求的基础上提升了辅助应用界面配置的效率；通过利用人物元素的人物声线模式对电台节目、资讯新闻信息的播报方式，增强了辅助应用中虚拟机器人的存在感，同时辅助应用还具备依据天气信息和多媒体更新信息的动态提醒功能，可以无需设置固定的时间进行提醒，动态的对提示信息进行输出，以及在意图识别结果为应用操作意图结果时，可以根据该操作意图进一步调用第三方应用执行指示的应用操作，进一步丰富了辅助应用可实现的功能；通过亲密度的人物元素的养成设置以及相应的功能解锁设置，可以在实现辅助应用的多功能的前提下，进一步有效的增加了辅助应用的交互性。

本发明实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1-图16所示实施例的方法步骤，具体执行过程可以参见图1-图16所示实施例的具体说明，在此不进行赘述。

请参见图19，为本发明实施例提供了一种终端的结构示意图。如图19所示，所述终端1000可以包括：至少一个处理器1001，例如CPU，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)、麦克风(Microphone)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图19所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及应用操作应用程序。

在图19所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的应用操作应用程序，并具体执行以下操作：

基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；

提取所述识别信息中的关键字信息，并基于机器学习生成的信息识别库获取与所述关键字信息相匹配的意图识别结果；

当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。

在一个实施例中，所述处理器1001在执行基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息之前，还执行以下操作：

在桌面界面中监听对辅助应用的触发操作，并在监听到所述触发操作后显示所述辅助应用对应的辅助应用界面；

其中，所述触发操作包括物理按键触发操作、语音输入触发操作和人脸识别触发操作中的至少一种操作。

在一个实施例中，所述处理器1001在执行基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息之前，还执行以下操作：

基于辅助应用界面获取所输入的用户个人信息，并根据所述用户个人信息配置所述辅助应用界面的元素以及所述元素对应的辅助模式；

所述元素包括人物元素、背景元素以及按钮元素，所述辅助模式包括提示模式、人物声线模式、元素动态变化模式、按钮形态模式中的至少一种模式。

在一个实施例中，所述互动意图结果包括触摸意图结果和闲聊意图结果；

所述处理器1001在执行当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息时，具体执行以下操作：

当所述意图识别结果为触摸意图结果时，基于所述触摸意图结果所指示的在所述辅助应用界面的触摸位置以及触摸操作类型，获取与所述触摸意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息；

当所述意图识别结果为闲聊意图结果时，基于所述闲聊意图结果所指示的语义信息获取与所述触摸意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息；

所述反馈多媒体信息包括在所述辅助模式下的元素变化信息和语音反馈信息中的至少一种信息。

在一个实施例中，所述处理器1001还执行以下操作：

当所述意图识别结果为电台播报意图结果时，采用所述人物声线模式对当前电台节目列表中的电台节目进行播放；

当所述意图识别结果为资讯播报意图结果时，采用所述提示模式对当前资讯列表中的资讯新闻信息进行播放。

在一个实施例中，所述处理器1001还执行以下操作：

当所述意图识别结果为应用操作意图结果时，获取所述应用操作意图结果中用于操作目标应用的意图行为信息，并调用所述目标应用执行所述意图行为信息所指示的应用操作。

在一个实施例中，所述处理器1001还执行以下操作：

当检测到当前的动态信息满足动态规则时，输出所述动态信息对应的提醒信息，所述动态信息包括天气信息、多媒体数据更新信息中的至少一种信息。

在一个实施例中，所述处理器1001在执行基于辅助应用界面采集针对人物元素的用户操作指令，并获取所述用户操作指令对应的意图识别结果之后，还执行以下操作：

当所述意图识别结果对应的操作权限未进行解锁处理时，输出操作权限受限的提示信息，并停止执行所述用户操作指令所指示的操作；

当所述意图识别结果对应的操作权限已进行解锁处理，且所述意图识别结果满足亲密度规则时，获取所述意图识别结果对应的亲密度加权值，并采用所述亲密度加权值更新与所述人物元素相关联的亲密度数值。

在一个实施例中，所述处理器1001还执行以下操作：

当所述亲密度数值满足目标阈值时，将所述目标阈值对应的亲密度级别确定为与所述人物元素的当前关系级别，并对所述当前关系级别对应的操作权限进行解锁处理。

在本发明实施例中，通过在辅助应用界面中采集针对人物元素的用户操作指令，可以基于该指令获取用户操作的识别信息，再通过获取与该识别信息中的关键字信息相匹配的意图识别结果，在意图识别结果为互动意图结果时，可以控制人物元素输出相应的反馈多媒体信息，通过结合机器学习的方式以及虚拟的人物元素的结合，可以丰富人物元素与用户的交互场景，并且丰富了辅助应用可实现的功能，同时提升了辅助应用的交互性；通过在初始使用辅助应用时获取用户个人信息，可以对辅助应用界面的元素及模式进行个性化的自动配置，无需用户手动进行选择配置，在满足用户需求的基础上提升了辅助应用界面配置的效率；通过利用人物元素的人物声线模式对电台节目、资讯新闻信息的播报方式，增强了辅助应用中虚拟机器人的存在感，同时辅助应用还具备依据天气信息和多媒体更新信息的动态提醒功能，可以无需设置固定的时间进行提醒，动态的对提示信息进行输出，以及在意图识别结果为应用操作意图结果时，可以根据该操作意图进一步调用第三方应用执行指示的应用操作，进一步丰富了辅助应用可实现的功能；通过亲密度的人物元素的养成设置以及相应的功能解锁设置，可以在实现辅助应用的多功能的前提下，进一步有效的增加了辅助应用的交互性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (12)

1.一种应用操作方法，其特征在于，包括：

基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；

提取所述识别信息中的关键字信息，并基于机器学习生成的信息识别库获取与所述关键字信息相匹配的意图识别结果；

当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。

2.根据权利要求1所述的方法，其特征在于，所述基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息之前，还包括：

在桌面界面中监听对辅助应用的触发操作，并在监听到所述触发操作后显示所述辅助应用对应的辅助应用界面；

其中，所述触发操作包括物理按键触发操作、语音输入触发操作和人脸识别触发操作中的至少一种操作。

3.根据权利要求1所述的方法，其特征在于，所述基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息之前，还包括：

基于辅助应用界面获取所输入的用户个人信息，并根据所述用户个人信息配置所述辅助应用界面的元素以及所述元素对应的辅助模式；

所述元素包括人物元素、背景元素以及按钮元素，所述辅助模式包括提示模式、人物声线模式、元素动态变化模式、按钮形态模式中的至少一种模式。

4.根据权利要求3所述的方法，其特征在于，所述互动意图结果包括触摸意图结果和闲聊意图结果；

所述当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息，包括：

当所述意图识别结果为触摸意图结果时，基于所述触摸意图结果所指示的在所述辅助应用界面的触摸位置以及触摸操作类型，获取与所述触摸意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息；

当所述意图识别结果为闲聊意图结果时，基于所述闲聊意图结果所指示的语义信息获取与所述触摸意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息；

所述反馈多媒体信息包括在所述辅助模式下的元素变化信息和语音反馈信息中的至少一种信息。

5.根据权利要求3所述的方法，其特征在于，还包括：

当所述意图识别结果为电台播报意图结果时，采用所述人物声线模式对当前电台节目列表中的电台节目进行播放；

当所述意图识别结果为资讯播报意图结果时，采用所述提示模式对当前资讯列表中的资讯新闻信息进行播放。

6.根据权利要求1所述的方法，其特征在于，还包括：

当所述意图识别结果为应用操作意图结果时，获取所述应用操作意图结果中用于操作目标应用的意图行为信息，并调用所述目标应用执行所述意图行为信息所指示的应用操作。

7.根据权利要求1所述的方法，其特征在于，还包括：

当检测到当前的动态信息满足动态规则时，输出所述动态信息对应的提醒信息，所述动态信息包括天气信息、多媒体数据更新信息中的至少一种信息。

8.根据权利要求1所述的方法，其特征在于，所述提取所述识别信息中的关键字信息，并基于机器学习生成的语义识别库获取与所述关键字信息相匹配的意图识别结果之后，还包括：

当所述意图识别结果对应的操作权限未进行解锁处理时，输出操作权限受限的提示信息，并停止执行所述用户操作指令所指示的操作；

当所述意图识别结果对应的操作权限已进行解锁处理，且所述意图识别结果满足亲密度规则时，获取所述意图识别结果对应的亲密度加权值，并采用所述亲密度加权值更新与所述人物元素相关联的亲密度数值。

9.根据权利要求8所述的方法，其特征在于，还包括：

当所述亲密度数值满足目标阈值时，将所述目标阈值对应的亲密度级别确定为与所述人物元素的当前关系级别，并对所述当前关系级别对应的操作权限进行解锁处理。

10.一种应用操作设备，其特征在于，包括：

信息获取单元，用于基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；

结果获取单元，用于提取所述识别信息中的关键字信息，并基于机器学习生成的语义识别库获取与所述关键字信息相匹配的意图识别结果；

意图执行单元，用于当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。

11.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～9任意一项的方法步骤。

12.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行以下步骤：

基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；

提取所述识别信息中的关键字信息，并基于机器学习生成的信息识别库获取与所述关键字信息相匹配的意图识别结果；

当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。