CN112612393A - 界面功能的交互方法及装置 - Google Patents

Abstract

本申请公开了一种界面功能的交互方法及装置，涉及界面交互领域。该方法包括：采集终端在界面上接收到的操作手势路径；基于操作手势路径进行需求分析，得到需求分析结果；基于预测功能需求生成更新信号，更新信号用于指示更新显示界面元素。通过采集终端界面上的操作手势路径，并对操作手势路径进行分析，得到该操作手势路径所对应的隐含需求，并基于预测得到的隐含需求在界面中显示和优化界面元素，对功能通道或功能使用方式进行提示和改进，从而避免用户在界面操作过程中，因无法找到功能入口或不清楚功能使用方式而导致人机交互效率较低的问题，提高了界面操作的交互效率，减少了用户在功能查找或使用过程中所需的耗时。

Description

界面功能的交互方法及装置

技术领域

本申请实施例涉及界面交互领域，特别涉及一种界面功能的交互方法及装置。

背景技术

界面功能交互是指用户通过与界面中的显示元素进行交互实现指定功能的过程。示意性的，在医疗交互界面中，包括测量数据查看控件、测量事项查看控件、测量记录查看控件等，当用户在测量数据查看控件上执行触发操作时，显示测量数据。

相关技术中，界面中通常可以实现多种不同的交互功能，也即通常界面中设置有多种控件显示元素、链接显示元素等显示元素用于实现交互功能，显示元素的显示位置以及显示层级由开发人员在开发时设置。

然而，上述显示元素的设置方式易导致，当显示元素较多时，存在一些控件或者链接在界面中较为隐蔽，用户无法快速找到需要的交互功能的问题，导致界面交互效率较低。

发明内容

本申请实施例提供了一种界面功能的交互方法及装置，能够提高界面交互效率。所述技术方案如下：

一方面，提供了一种界面功能的交互方法，所述方法包括：

采集终端在界面上接收到的操作手势路径，所述操作手势路径中包括按序排列的触发操作集合；

基于所述操作手势路径进行需求分析，得到需求分析结果，所述需求分析结果中包括与所述操作手势路径对应的预测功能需求，所述预测功能需求对应所述界面中提供的目标交互功能；

基于所述预测功能需求生成更新信号，所述更新信号用于指示在所述界面中更新显示界面元素，更新后的所述界面元素用于指示所述目标交互功能的触发。

另一方面，提供了一种界面功能的交互方法，所述方法包括：

接收在界面上触发的操作手势；

基于所述操作手势生成操作手势路径，所述操作手势路径中包括按序排列的操作手势集合；

基于所述操作手势路径在所述界面中更新显示界面元素，更新后的所述界面元素用于指示所述目标交互功能的触发，所述界面元素是基于所述操作手势路径确定预测功能需求后显示的，所述预测功能需求对应所述界面中提供的所述目标交互功能。

另一方面，提供了一种界面功能的交互装置，所述装置包括：

采集模块，用于采集终端在界面上接收到的操作手势路径，所述操作手势路径中包括按序排列的触发操作集合；

分析模块，用于基于所述操作手势路径进行需求分析，得到需求分析结果，所述需求分析结果中包括与所述操作手势路径对应的预测功能需求，所述预测功能需求对应所述界面中提供的目标交互功能；

生成模块，用于基于所述预测功能需求生成更新信号，所述更新信号用于指示在所述界面中更新显示界面元素，更新后的所述界面元素用于指示所述目标交互功能的触发。

另一方面，提供了一种界面功能的交互装置，所述装置包括：

接收模块，用于接收在界面上触发的操作手势；

生成模块，用于基于所述操作手势生成操作手势路径，所述操作手势路径中包括按序排列的操作手势集合；

显示模块，用于基于所述操作手势路径在所述界面中更新显示界面元素，更新后的所述界面元素用于指示所述目标交互功能的触发，所述界面元素是基于所述操作手势路径确定预测功能需求后显示的，所述预测功能需求对应所述界面中提供的所述目标交互功能。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述实施例中提供的界面功能的交互方法。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述实施例中提供的界面功能的交互方法。

另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的界面功能的交互方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

通过采集终端界面上的操作手势路径，并对操作手势路径进行分析，得到该操作手势路径所对应的隐含需求，并基于预测得到的隐含需求在界面中显示和优化界面元素，对功能通道或功能使用方式进行提示和改进，从而避免用户在界面操作过程中，因无法找到功能入口或不清楚功能使用方式而导致人机交互效率较低的问题，提高了界面操作的交互效率，减少了用户在功能查找过程中或使用过程中所需的耗时。

其中，在功能使用方式的改进上，当前页面需要多步骤复杂操作时，改为单步骤多页面方式，通过多个页面的方式对功能实现进行直观的展示，从而提高人机交互效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本申请一个示例性实施例提供的实施环境示意图；

图2是本申请一个示例性实施例提供的隐含需求整体分析过程流程图；

图3是本申请一个示例性实施例提供的异常操作流程图；

图4是本申请一个示例性实施例提供的界面功能的交互方法的流程图；

图5是本申请一个示例性实施例整体系统流程图；

图6是本申请另一个示例性实施例提供的界面功能的交互方法的流程图；

图7是本申请另一个示例性实施例提供的界面功能的交互方法的流程图；

图8是本申请一个示例性实施例提供的界面功能的交互装置的结构框图；

图9是本申请另一个示例性实施例提供的界面功能的交互装置的结构框图；

图10是本申请另一个示例性实施例提供的界面功能的交互装置的结构框图；

图11是本申请一个示例性实施例提供的计算机设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

首先，对本申请实施例中涉及的名词进行简单介绍：

隐含需求：即根据用户在终端界面上的操作手势路径预测得到的用户需求，本申请实施例中，通过操作手势路径对隐含的功能需求进行预测，得到预测功能需求，即该预测功能需求为预测得到的隐含需求。在一些实施例中，隐含需求的预测在服务器侧实现，即，终端对操作手势路径进行记录，并将记录得到的操作手势路径发送至服务器进行隐含需求的预测；在另一些实施例中，隐含需求的预测实现在终端侧，也即，终端对操作手势路径进行记录后，直接对记录得到的操作手势路径进行分析，预测得到隐含需求。

示意性的，以隐含需求的预测过程在服务器侧实现为例进行说明，图1是本申请一个示例性实施例提供的实施环境示意图，如图1所示，该实施环境中包括终端110和服务器120，其中，终端110和服务器120之间通过通信网络130连接；

其中，终端110是用于提供用户与界面之间的交互功能的载体，也即，在终端110的显示屏中显示界面内容，从而用户能够基于界面内容进行功能交互。在一些实施例中，终端110对界面上接收到的触发操作进行记录后，向服务器120发送操作手势路径；或者，终端110每接收到一个触发操作，则向服务器120反馈一个触发信号，用于指示接收到的触发操作，从而服务器120对触发操作进行记录，与之前记录的触发操作构成操作手势路径。本申请实施例对操作手势路径的生成端不加以限定。

本申请实施例中，服务器120中设置有需求分析模型121，将生成的操作手势路径输入至需求分析模型121中进行分析，从而得到用户在界面操作过程中的隐含需求。在一些实施例中，服务器120先对操作手势路径进行异常分析，当分析得到操作手势路径存在异常(如：相邻两个触发操作之间的触发时间差小于预设时间差)时，将操作手势路径输入至需求分析模型121。通过需求分析模型121进行需求分析后，输出预测功能需求，该预测功能需求对应界面上提供的目标交互功能，也即，服务器120预测得到当前用户需要使用却未能直接找到的功能为目标交互功能。

服务器120将预测功能需求携带在更新信号中反馈至终端110，从而终端110基于该更新信号更新显示提示元素，该提示元素用于指示触发目标交互功能的触发入口。

示意性的，以预测功能需求为信息展示需求为例，服务器120向终端110反馈更新信号后，终端110在界面中显示导航浮窗，该导航浮窗中包括信息展示控件，当用户在导航浮窗中对信息展示控件进行点击后，即实现信息展示功能。

示意性的，请参考图2，其示出了本申请一个示例性实施例提供的隐含需求整体分析过程流程图，如图2所示，该过程中包括：

步骤201，操作流程路径分析。

在一些实施例中，首先由开发人员或者管理人员设定一些基础手势路径，示意性的，由于开发人员或者管理人员清楚交互功能的触发入口在界面中的位置，故，通常设置至少一组到达该触发入口的操作手势路径作为基础手势路径，其中，手势路径上的节点由触发操作构成，如：点击操作、双击操作、滑动操作、重力按压操作等。

示意性的，针对目标互动功能的触发入口S13，设置如下两组基础手势路径：

第一组：S1→S2→S4→S8→S12→S13；

其中，S1表示显示主页操作，S2表示在主页上的滑动操作，S4表示对信息展示控件的点击操作；S8表示响应S4的点击操作显示信息展示界面的触发过程；S12表示在信息展示界面上的滑动操作；S13表示目标互动功能的触发操作。

第二组：S1→S3→S7→S11→S12→S13。

其中，S1表示显示主页操作，S3表示在信息获取控件上的点击操作；S7表示响应S3的点击操作显示信息获取界面的触发过程；S11表示从信息获取界面跳转至信息展示界面的触发操作；S12表示在信息展示界面上的滑动操作；S13表示目标互动功能的触发操作。

也即，上述两组基础手势路径皆是从显示主页到触发目标互动功能的操作的基础操作路径。

步骤202，异常路径提取。

在一些实施例中，基于终端接收到的触发操作，获取操作手势路径，并对操作手势路径进行异常分析，如：判断操作手势路径整体是否存在异常子路径；或，判断操作手势路径中划分的子路径是否存在异常。

示意性的，请参考图3，其示出了本申请一个示例性实施例提供的异常操作流程图，在该异常操作流程图中包括节点310和节点路径320。以判断操作手势路径整体是否存在异常子路径为例，操作手势路径为：S1→S2→S4→S2→S1→S3→S7→S3→S1→S2→S5→S10→S12→S13。而该过程中，S1→S2→S4→S2→S1为一个异常子路径，S1→S3→S7→S3→S1为另一个异常子路径，以S1为主页显示操作为例，即上述两个异常子路径皆表示用户在界面操作过程中首先在主页进行跳转后，未能找到对应的目标互动功能又重新返回至主页的过程。

步骤203，异常路径节点对应的界面内容分析。

可选地，针对异常路径中各个触发操作所对应的界面内容进行分析，也即对用户在异常路径中执行的触发操作进行分析。

步骤204，异常路径分类。

在一些实施例中，异常路径分类中包括导航类问题、咨询类问题、功能使用类问题、字体问题、内容错误类问题等，其中，导航类问题是指用户无法快速找到目标交互功能的问题；咨询类问题是指用户需要咨询服务，而无法找到咨询通道的问题；功能使用类问题是指用户无法找到功能入口的问题；字体问题是指用户需要调整界面字体参数的问题；内容错误类问题是指用户无法从界面中获取正确内容的问题。

步骤205，分析用户语音。

值得注意的是，步骤205为可选方案，在一些实施例中，当隐含需求的分析结果置信度低于置信度阈值时，触发语音互动功能，从而采集语音内容进行隐含需求的分析；当隐含需求的分析结果置信度达到置信度阈值时，生成该隐含需求。

步骤206，隐含需求生成。

示意性的，以上述操作手势路径为例，则分析得到的隐含需求为，S5层级的导航较为隐蔽。

示意性的，1、当用户不确定走哪条操作路径时，同时显示三组操作路径，覆盖当前页面，同时提取不同路径的关键字放置到路径上，便于用户快速选择；

2、当用户在某条操作路径上停滞不前，或者同页面徘徊，通过语音交互，解答用户问题，并根据用户反馈，自动在操作路径上进行重定位；

3、当前页面需要多步骤复杂操作时，改为单步骤多页面方式，并且在用户进行操作的同时增加指示性闪烁图标；

4、当接收到放大操作时，放大当前页面元素，同时对页面元素重新进行展示(拉长当前页面)，或将单页面内容放置到多页面中；当缩小时，缩小当前页面元素，同时对页面元素重新进行展示(缩短当前页面)，或将多页面内容放置到单页面。

结合上述内容，对本申请实施例提供的界面功能的交互方法进行说明，图4是本申请一个示例性实施例提供的界面功能的交互方法的流程图，以该方法应用于服务器中为例，如图4所示，该方法包括：

步骤401，采集终端在界面上接收到的操作手势路径。

操作手势路径中包括按序排列的触发操作集合。也即，终端在界面上接收触发操作，并将触发操作发送至服务器，从而服务器基于终端上报的触发操作生成操作手势路径。

值得注意的是，上述操作手势路径中的节点表示触发操作，而节点在操作手势路径中存在顺序关系，节点之间的顺序关系用于表示触发操作的触发时刻先后关系。

在一些实施例中，本申请实施例中所提及的界面为指定的单个界面；或，指定的一组界面；或，指定应用程序中的界面；或，指定应用系统平台中的界面。示意性的，以该界面实现为指定应用程序中的界面为例，当终端启动指定应用程序时，在该应用程序中的任意界面显示过程中，将接收到的在界面上的触发操作上报至服务器，从而生成操作手势路径。其中，终端所上报的触发操作还包括触发时刻、触发位置、触发内容等。

如，以医疗器械使用程序为例，用户在操作终端的过程中启动该医疗器械使用程序，并在显示的主页界面中对历史测量记录控件进行点击，从而终端将对历史测量记录控件的点击操作上报至服务器，其中，上报内容包括：点击操作的触发时刻、点击操作所对应的界面标识(主页界面的标识)、点击操作在界面中的坐标位置、点击操作的坐标位置对应的显示元素(即历史测量记录控件元素)，从而服务器对该次点击操作进行记录。

在一些实施例中，上述举例以触发时刻由终端确定并上报至服务器为例进行说明，或者，该触发时刻由服务器确定，即，服务器将接收到终端上报点击事件的时刻作为点击操作的触发时刻。

在一些实施例中，操作手势路径中包括终端启动目标应用程序后所接收到的所有触发操作；或，操作手势路径中包括终端接收到的最近k个触发操作，k为正整数，且k为预先设定的数值；或，操作手势路径中包括最近一组未进行隐含需求分析的触发操作；或，操作手势路径中包括最近一组存在异常情况的触发操作(如：连续k个触发操作中，相邻两个触发操作之间的时间间隔小于要求时间间隔)。本申请实施例对操作手势路径中包含的触发操作不加以限定。

在一些实施例中，在对操作手势路径进行需求分析之前，首先从操作手势路径进行异常分析，当操作手势路径中存在异常情况，即存在异常子路径时，对操作手势路径进行隐含需求的分析。示意性的，当操作手势路径表示用户在两个界面之间连续切换时，如：从界面A切换到界面B，再从界面B切换回界面A时，确定当前操作手势路径存在异常子路径。

步骤402，基于操作手势路径进行需求分析，得到需求分析结果，需求分析结果中包括与操作手势路径对应的预测功能需求。

其中，预测功能需求对应界面中提供的目标交互功能，其中，该目标交互功能为当前界面中提供的；或，目标交互功能为应用程序中的其他界面中提供的。

预测功能需求用于预测得到用户在界面交互中的隐含需求。

在一些实施例中，通过需求分析模型进行需求分析，也即，将操作手势路径输入需求分析模型，需求分析模型中包括预先设定的基础手势路径，从而基于需求分析模型中的基础手势路径对操作手势路径进行需求分析，输出得到需求分析结果。

其中，需求分析模型是通过样本手势路径训练得到的机器学习模型，在一些实施例中，该需求分析模型为神经网络模型。

其中，样本手势路径可以是用户在界面操作过程中生成的手势路径，也可以是开发人员通过对界面的操作设置的手势路径，可选地，样本手势路径中对应手势路径标注有实际功能需求。

也即，通过需求分析模型对样本手势路径进行分析后得到预测功能需求，从而将预测功能需求与实际功能需求进行比对，得到预测功能需求与实际功能需求之间的差异，基于该差异对需求分析模型中的模型参数进行调整。

在一些实施例中，以上述对操作手势路径进行需求分析得到预测功能需求为例进行说明，在预测得到预测功能需求后，终端继续接收在界面上的触发操作，当基于后续触发操作中的任意一个触发操作识别得到用户开始使用实际功能需求时，则确定该实际功能需求为操作手势路径所对应的需求，也即，基于更新信号接收操作反馈信号，操作反馈信号为终端显示提示元素后接收到触发操作并反馈的信号。示意性的，在终端显示提示元素后接收到触发操作，并在触发操作后存在一定时长的停留；或，在触发操作显示某个界面后，再接收到的触发操作为在界面中的显示滑动操作等停留在该界面的操作，则确定该触发操作触发的功能为实际互动功能。在一些实施例中，项操作手势路径标注该实际互动功能作为一个样本手势路径；或者，由于上述内容中已预测得到预测互动功能，则基于操作反馈信号对应的触发操作确定操作手势路径对应的实际功能需求后，基于实际功能需求与预测功能需求之间的差异性，对需求分析模型的模型参数进行调整。

步骤403，基于预测功能需求生成更新信号，更新信号用于指示在界面中更新显示界面元素。

可选地，需求而分析结果中还包括预测功能需求对应的置信度，则响应于置信度达到置信度阈值，生成与预测功能需求对应的界面更新策略，界面更新策略用于指示界面显示内容的更新方式，基于界面更新策略生成更新信号。

在另一些实施例中，响应于置信度小于置信度阈值，触发语音交互功能；接收语音输入信号，该语音输入信号为终端基于语音交互功能采集得到的语音信号，基于语音输入信号确定预测功能需求。在一些实施例中，服务器在确定置信度小于置信度阈值时，触发语音交互功能，并向终端发送语音交互信号，从而终端显示语音交互提示信息，其中，终端还可以通过语音的方式对语音交互提示进行表达，如：语音表述“请通过语音表达您需要使用的功能”，并基于语音交互提示信息采集语音输入信号，将语音输入信号发送至服务器进行语音识别，得到该语音输入信号对应的语义内容，并确定对应的预测功能需求。

更新后的界面元素用于指示目标交互功能的触发。在一些实施例中，更新后的界面元素用于指示目标交互功能的触发方式，如：功能触发入口；或，更新后的界面元素用于指示目标交互功能的触发结果，如：界面缩放结果。

在一些实施例中，以导航类问题为例，界面元素中包括触发目标交互功能的入口；或者，界面元素中包括触发目标交互功能的入口相对当前界面而言的指定路径。

综上所述，本申请实施例提供的界面功能的交互方法，通过采集终端界面上的操作手势路径，并对操作手势路径进行分析，得到该操作手势路径所对应的隐含需求，并基于预测得到的隐含需求在界面中显示和优化界面元素，对功能通道或功能使用方式进行提示和改进，从而避免用户在界面操作过程中，无法找到功能入口或不清楚功能使用方式而导致人机交互效率较低的问题，提高了界面操作的交互效率，减少了用户在功能查找过程或使用过程中所需的耗时。

示意性的，图5是本申请一个示例性实施例整体系统流程图，如图5所示，该流程中包括线上运行流程510和线下训练流程520，其中，在线上运行流程510中包括如下过程：

步骤501，移动设备用户界面操作手势监控。

在一些实施例中，移动设备中设置有监控进程，用于对用户界面中产生的操作手势进行监控。

步骤502，用户界面操作手势序列收集。

移动设备将监控得到的操作手势发送至服务器，服务器基于手机得到的操作手势生成操作手势序列。

步骤503，用户界面操作隐含需求检测。

可选地，通过异常分析方法对用户界面操作手势的隐含需求进行快速检测，即，通过异常分析判断操作手势序列中是否包含隐含需求。

步骤504，判断是否存在隐含需求。

步骤505，当存在隐含需求时，生成用户界面操作隐含需求。

在一些实施例中，当存在隐含需求时，通过隐含需求检测和生成模型对操作手势序列进行分析，得到隐含需求。

在一些实施例中，通过比较异常路径和常规路径，生成用户界面操作的隐含需求。

步骤506，判断隐含需求置信度是否高于阈值。

可选地，隐含需求检测和生成模型预测得到的隐含需求还对应有置信度，该置信度用于表示操作手势序列对应隐含需求的概率。

步骤507，当置信度高于阈值时，移动端用户界面生成更新策略。

更新策略用于表示界面内容更新的方式。

步骤508，当置信度不高于阈值时，启动语音交互。

语音交互用于指示用户通过语音输入的方式对需求进行表达。

步骤509，与用户确认操作所隐含的需求。

步骤510，基于更新策略更新用户界面。

步骤511，获取用户反馈，进行强化学习。

可选地，该强化学习过程即表示对隐含需求检测和生成模型的训练过程，通过对隐含需求检测和生成模型的训练，提高隐含需求检测和生成模型的预测准确率。

可选地，根据用户对更新后的界面的操作，检测界面的更新是否起到了积极作用，并将检测结果用于训练。

线下训练过程520中包括如下过程：

步骤521，移动设备用户界面操作手势监控。

在一些实施例中，移动设备中设置有监控进程，用于对用户界面中产生的操作手势进行监控。

步骤522，用户界面操作手势序列收集。

移动设备将监控得到的操作手势发送至服务器，服务器基于手机得到的操作手势生成操作手势序列。

步骤523，操作手势序列分析、标注和隐含需求生成。

可选地，对操作手势序列进行需求分析，得到预测功能需求，基于操作手势序列之后的触发操作对该操作手势序列标注实际功能需求。

步骤524，训练隐含需求检测和生成模型。

可选地，基于预测功能需求和实际功能需求之间的差异对隐含需求检测和生成模型进行训练。

在一些实施例中，将基础手势路径和操作手势路径的结合对操作手势路径进行需求分析。图6是本申请另一个示例性实施例提供的界面功能的交互方法的流程图，以该方法应用于服务器中为例，如图6所示，该方法包括：

步骤601，采集终端在界面上接收到的操作手势路径。

操作手势路径中包括按序排列的触发操作集合。也即，终端在界面上接收触发操作，并将触发操作发送至服务器，从而服务器基于终端上报的触发操作生成操作手势路径。

值得注意的是，上述操作手势路径中的节点表示触发操作，而节点在操作手势路径中存在顺序关系，节点之间的顺序关系用于表示触发操作的触发时刻先后关系。

步骤602，将操作手势路径输入需求分析模型。

在一些实施例中，提取操作手势路径的特征后输入至需求分析模型；或，将操作手势路径输入需求分析模型后进行特征提取。本实施例中，以将操作手势路径输入需求分析模型进行特征提取为例进行说明。

步骤603，基于需求分析模型中的基础手势路径对操作手势路径进行需求分析，输出得到需求分析结果。

可选地，将基础手势路径与操作手势路径结合，得到待分析手势路径，提取该待分析手势路径的特征，得到路径特征，从而基于路径特征进行需求分析，得到操作手势路径对应基础手势路径的置信度作为需求分析结果，其中，基础手势路径对应预测功能需求。在一些实施例中，根据路径特征分析得到的置信度，将置信度最高的m个路径特征对应的预测功能需求确定为需求分析结果中的预测功能需求。

在一些实施例中，需求分析模型中包括n个预测功能需求对应的n组基础手势路径，n为正整数，从而在将基础手势路径与操作手势路径结合时，将操作手势路径分别与n组基础手势路径结合，得到n组待分析手势路径，对n组待分析手势路径进行特征提取，得到n个路径特征，从而基于n个路径特征分别进行需求分析，得到操作手势路径对应n个预测功能需求分别对应的置信度；确定前m个最大的置信度对应的预测功能需求，得到需求分析结果，m≤n，且m为正整数。

步骤604，基于预测功能需求生成更新信号，更新信号用于指示在界面中更新显示界面元素。

可选地，需求而分析结果中还包括预测功能需求对应的置信度，则响应于置信度达到置信度阈值，生成与预测功能需求对应的界面更新策略，界面更新策略用于指示界面显示内容的更新方式，基于界面更新策略生成更新信号。

在另一些实施例中，响应于置信度小于置信度阈值，触发语音交互功能；接收语音输入信号，该语音输入信号为终端基于语音交互功能采集得到的语音信号，基于语音输入信号确定预测功能需求。在一些实施例中，服务器在确定置信度小于置信度阈值时，触发语音交互功能，并向终端发送语音交互信号，从而终端显示语音交互提示信息，其中，终端还可以通过语音的方式对语音交互提示进行表达，如：语音表述“请通过语音表达您需要使用的功能”，并基于语音交互提示信息采集语音输入信号，将语音输入信号发送至服务器进行语音识别，得到该语音输入信号对应的语义内容，并确定对应的预测功能需求。

更新后的界面元素用于指示目标交互功能的触发。在一些实施例中，更新后的界面元素用于指示目标交互功能的触发方式；或，更新后的界面元素用于指示目标交互功能的触发结果。

在一些实施例中，以导航类问题为例，界面元素中包括触发目标交互功能的入口；或者，界面元素中包括触发目标交互功能的入口相对当前界面而言的指定路径。

综上所述，本申请实施例提供的界面功能的交互方法，通过采集终端界面上的操作手势路径，并对操作手势路径进行分析，得到该操作手势路径所对应的隐含需求，并基于预测得到的隐含需求在界面中显示和优化界面元素，对功能通道或功能使用方式进行提示和改进，从而避免用户在界面操作过程中，因无法找到功能入口或不清楚功能使用方式而导致人机交互效率较低的问题，提高了界面操作的交互效率，减少了用户在功能查找过程或使用过程中所需的耗时。

本实施例提供的方法，通过设置需求分析模型将操作手势路径与多个已设置的基础手势路径结合后进行需求分析，从而得到操作手势路径对应每个基础手势路径的概率，的得到操作手势路径对应每个已设定的预测功能需求的概率，提高了预测功能需求的分析准确率。

图7是本申请另一个示例性实施例提供的界面功能的交互方法的流程图，以该方法应用于终端中为例进行说明，如图7所示，该方法包括：

步骤701，接收在界面上触发的操作手势。

可选地，该操作手势包括点击操作、长按操作、拖动操作、双击操作、滑动操作、缩放操作、重力按压操作等，本申请对操作手势的类型不加以限定。

终端中设置有对界面操作进行监控的进程，可选地，该进程为应用程序运行过程中启动的进程，也即，在指定应用程序的运行过程中对界面上的操作手势进行监控。

步骤702，基于操作手势生成操作手势路径。

操作手势路径中包括按序排列的操作手势集合。也即，终端在界面上接收触发操作，并生成操作手势路径。

值得注意的是，上述操作手势路径中的节点表示触发操作，而节点在操作手势路径中存在顺序关系，节点之间的顺序关系用于表示触发操作的触发时刻先后关系。

在一些实施例中，本申请实施例中所提及的界面为指定的单个界面；或，指定的一组界面；或，指定应用程序中的界面；或，指定应用系统平台中的界面。示意性的，以该界面实现为指定应用程序中的界面为例，当终端启动指定应用程序时，在该应用程序中的任意界面显示过程中，将接收到的在界面上的触发操作上报至服务器，从而生成操作手势路径。其中，终端所上报的触发操作还包括触发时刻、触发位置、触发内容等。

步骤703，基于操作手势路径在界面中更新显示界面元素，更新后的界面元素用于指示目标交互功能的触发。

更新后的界面元素用于指示目标交互功能的触发。在一些实施例中，更新后的界面元素用于指示目标交互功能的触发方式；或，更新后的界面元素用于指示目标交互功能的触发结果。

在一些实施例中，以导航类问题为例，界面元素中包括触发目标交互功能的入口；或者，界面元素中包括触发目标交互功能的入口相对当前界面而言的指定路径。

综上所述，本申请实施例提供的界面功能的交互方法，通过采集终端界面上的操作手势路径，并对操作手势路径进行分析，得到该操作手势路径所对应的隐含需求，并基于预测得到的隐含需求在界面中显示和优化界面元素，对功能通道或功能使用方式进行提示和改进，从而避免用户在界面操作过程中，无法找到功能入口或不清楚功能使用方式而导致人机交互效率较低的问题，提高了界面操作的交互效率，减少了用户在功能查找过程或使用过程中所需的耗时。

图8是本申请一个示例性实施例提供的界面功能的交互装置的结构框图，如图8所示，该装置包括：

采集模块810，用于采集终端在界面上接收到的操作手势路径，所述操作手势路径中包括按序排列的触发操作集合；

分析模块820，用于基于所述操作手势路径进行需求分析，得到需求分析结果，所述需求分析结果中包括与所述操作手势路径对应的预测功能需求，所述预测功能需求对应所述界面中提供的目标交互功能；

生成模块830，用于基于所述预测功能需求生成更新信号，所述更新信号用于指示在所述界面中更新显示界面元素，更新后的所述界面元素用于指示所述目标交互功能的触发。

在一个可选的实施例中，所述需求分析结果中还包括所述预测功能需求对应的置信度；

所述生成模块830，还用于响应于所述置信度达到置信度阈值，生成与所述预测功能需求对应的界面更新策略，所述界面更新策略用于指示界面显示内容的更新方式；基于所述界面更新策略生成所述更新信号。

在一个可选的实施例中，如图9所示，所述装置还包括：

接收模块840，用于响应于所述置信度小于所述置信度阈值，触发语音交互功能；接收语音输入信号，所述语音输入信号为所述终端基于所述语音交互功能采集得到的语音信号；

确定模块850，用于基于所述语音输入信号确定所述预测功能需求。

在一个可选的实施例中，所述分析模块820，还用于将所述操作手势路径输入需求分析模型，所述需求分析模型中包括预先设定的基础手势路径；基于所述需求分析模型中的所述基础手势路径对所述操作手势路径进行需求分析，输出得到所述需求分析结果。

在一个可选的实施例中，所述分析模块820，还用于将所述基础手势路径与所述操作手势路径结合，得到待分析手势路径；提取所述待分析手势路径的特征，得到路径特征；基于所述路径特征进行需求分析，得到所述操作手势路径对应所述基础手势路径的置信度作为所述需求分析结果，其中，所述基础手势路径对应所述预测功能需求。

在一个可选的实施例中，所述需求分析模型中包括n个预测功能需求对应的n组基础手势路径，n为正整数；

所述分析模块820，还用于将所述操作手势路径分别与n组所述基础手势路径结合，得到n组待分析手势路径；

所述分析模块820，还用于基于n个所述路径特征分别进行需求分析，得到n个所述预测功能需求分别对应的所述置信度；确定前m个最大的置信度对应的所述预测功能需求，得到所述需求分析结果，m≤n，且m为正整数。

在一个可选的实施例中，所述装置还包括：

接收模块840，用于基于所述更新信号接收操作反馈信号，所述操作反馈信号为所述终端显示所述提示元素后接收到触发操作并反馈的信号；

训练模块860，用于基于所述操作反馈信号对所述需求分析模型进行训练。

在一个可选的实施例中，所述训练模块860，还用于基于所述操作反馈信号对应的所述触发操作，确定所述操作手势路径对应的实际功能需求；基于所述实际功能需求与所述预测功能需求之间的差异性，对所述需求分析模型中的模型参数进行调整。

图10是本申请另一个示例性实施例提供的界面功能的交互装置的结构框图，如图10所示，该装置包括：

接收模块1010，用于接收在界面上触发的操作手势；

生成模块1020，用于基于所述操作手势生成操作手势路径，所述操作手势路径中包括按序排列的操作手势集合；

显示模块1030，用于基于所述操作手势路径在所述界面中更新显示界面元素，更新后的所述界面元素用于指示所述目标交互功能的触发，所述界面元素是基于所述操作手势路径确定预测功能需求后显示的，所述预测功能需求对应所述界面中提供的所述目标交互功能。

综上所述，本申请实施例提供的界面功能的交互装置，通过采集终端界面上的操作手势路径，并对操作手势路径进行分析，得到该操作手势路径所对应的隐含需求，并基于预测得到的隐含需求在界面中显示和优化界面元素，对功能通道或功能使用方式进行提示和改进，从而避免用户在界面操作过程中，无法找到功能入口或不清楚功能使用方式而导致人机交互效率较低的问题，提高了界面操作的交互效率，减少了用户在功能查找过程或使用过程中所需的耗时。

需要说明的是：上述实施例提供的界面功能的交互装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的界面功能的交互装置，与界面功能的交互方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图11示出了本申请一个示例性实施例提供的计算机设备的结构示意图。具体来讲：

计算机设备1100包括中央处理单元(Central Processing Unit，CPU)1101、包括随机存取存储器(Random Access Memory，RAM)1102和只读存储器(Read Only Memory，ROM)1103的系统存储器1104，以及连接系统存储器1104和中央处理单元1101的系统总线1105。计算机设备1100还包括用于存储操作系统1113、应用程序1114和其他程序模块1115的大容量存储设备1106。

大容量存储设备1106通过连接到系统总线1105的大容量存储控制器(未示出)连接到中央处理单元1101。大容量存储设备1106及其相关联的计算机可读介质为计算机设备1100提供非易失性存储。也就是说，大容量存储设备1106可以包括诸如硬盘或者紧凑型光盘只读存储器(Compact Disc Read Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。

不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、带电可擦可编程只读存储器(Electrically Erasable Programmable Read Only Memory，EEPROM)、闪存或其他固态存储其技术，CD-ROM、数字通用光盘(Digital Versatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1104和大容量存储设备1106可以统称为存储器。

根据本申请的各种实施例，计算机设备1100还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1100可以通过连接在系统总线1105上的网络接口单元1111连接到网络1112，或者说，也可以使用网络接口单元1111来连接到其他类型的网络或远程计算机系统(未示出)。

上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。

本申请提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述各个方法实施例提供的界面功能的交互方法。

本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的界面功能的交互方法。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种界面功能的交互方法，其特征在于，所述方法包括：

采集终端在界面上接收到的操作手势路径，所述操作手势路径中包括按序排列的触发操作集合；

基于所述操作手势路径进行需求分析，得到需求分析结果，所述需求分析结果中包括与所述操作手势路径对应的预测功能需求，所述预测功能需求对应所述界面中提供的目标交互功能；

基于所述预测功能需求生成更新信号，所述更新信号用于指示在所述界面中更新显示界面元素，更新后的所述界面元素用于指示所述目标交互功能的触发。

2.根据权利要求1所述的方法，其特征在于，所述需求分析结果中还包括所述预测功能需求对应的置信度；

所述基于所述预测功能需求生成更新信号，包括：

响应于所述置信度达到置信度阈值，生成与所述预测功能需求对应的界面更新策略，所述界面更新策略用于指示界面显示内容的更新方式；

基于所述界面更新策略生成所述更新信号。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

响应于所述置信度小于所述置信度阈值，触发语音交互功能；

接收语音输入信号，所述语音输入信号为所述终端基于所述语音交互功能采集得到的语音信号；

基于所述语音输入信号确定所述预测功能需求。

4.根据权利要求1至3任一所述的方法，其特征在于，所述基于所述操作手势路径进行需求分析，得到需求分析结果，包括：

将所述操作手势路径输入需求分析模型，所述需求分析模型中包括预先设定的基础手势路径；

基于所述需求分析模型中的所述基础手势路径对所述操作手势路径进行需求分析，输出得到所述需求分析结果。

5.根据权利要求4所述的方法，其特征在于，所述基于所述需求分析模型中的所述基础手势路径对所述操作手势路径进行需求分析，输出得到所述需求分析结果，包括：

将所述基础手势路径与所述操作手势路径结合，得到待分析手势路径；

提取所述待分析手势路径的特征，得到路径特征；

基于所述路径特征进行需求分析，得到所述操作手势路径对应所述基础手势路径的置信度作为所述需求分析结果，其中，所述基础手势路径对应所述预测功能需求。

6.根据权利要求5所述的方法，其特征在于，所述需求分析模型中包括n个预测功能需求对应的n组基础手势路径，n为正整数；

所述将所述基础手势路径与所述操作手势路径结合，得到待分析手势路径，包括：

将所述操作手势路径分别与n组所述基础手势路径结合，得到n组待分析手势路径；

所述基于所述路径特征进行需求分析，得到所述操作手势路径对应所述基础手势路径的置信度作为所述需求分析结果，包括：

基于n个所述路径特征分别进行需求分析，得到n个所述预测功能需求分别对应的所述置信度；

确定前m个最大的置信度对应的所述预测功能需求，得到所述需求分析结果，m≤n，且m为正整数。

7.根据权利要求4至6任一所述的方法，其特征在于，所述基于所述预测功能需求生成更新信号之后，还包括：

基于所述更新信号接收操作反馈信号，所述操作反馈信号为所述终端显示所述提示元素后接收到触发操作并反馈的信号；

基于所述操作反馈信号对所述需求分析模型进行训练。

8.根据权利要求7所述的方法，其特征在于，所述基于所述操作反馈信号对所述需求分析模型进行训练，包括：

基于所述操作反馈信号对应的所述触发操作，确定所述操作手势路径对应的实际功能需求；

基于所述实际功能需求与所述预测功能需求之间的差异性，对所述需求分析模型中的模型参数进行调整。

9.一种界面功能的交互方法，其特征在于，所述方法包括：

接收在界面上触发的操作手势；

基于所述操作手势生成操作手势路径，所述操作手势路径中包括按序排列的操作手势集合；

基于所述操作手势路径在所述界面中更新显示界面元素，更新后的所述界面元素用于指示所述目标交互功能的触发，所述界面元素是基于所述操作手势路径确定预测功能需求后显示的，所述预测功能需求对应所述界面中提供的所述目标交互功能。

10.一种界面功能的交互装置，其特征在于，所述装置包括：

采集模块，用于采集终端在界面上接收到的操作手势路径，所述操作手势路径中包括按序排列的触发操作集合；

分析模块，用于基于所述操作手势路径进行需求分析，得到需求分析结果，所述需求分析结果中包括与所述操作手势路径对应的预测功能需求，所述预测功能需求对应所述界面中提供的目标交互功能；

生成模块，用于基于所述预测功能需求生成更新信号，所述更新信号用于指示在所述界面中更新显示界面元素，更新后的所述界面元素用于指示所述目标交互功能的触发。

Images