CN117041248A - 一种终端设备上的操作实现方法、装置、设备及存储介质 - Google Patents

Abstract

本申请涉及人工智能领域，尤其涉及一种终端设备上的操作实现方法、装置、设备及存储介质，该方法为：接收来自第二终端设备的目标操作路径指令，显示目标功能选项；响应于对目标功能选项的选择操作，运行目标操作路径指令以执行目标操作，并显示目标操作。这样，通过将操作指令持久化存储于终端设备中，在需要的时候直接点击对应的功能选项，即可控制终端设备自动完成相应操作，随点随用，满足目终端设备使用者的实时需求，并且，创建操作指令和使用操作指令的双方不需要时空上同步在线，避免了远程控制过程中操控方与被操控方时空不同步的限制问题。

Description

一种终端设备上的操作实现方法、装置、设备及存储介质

技术领域

本申请涉及人工智能领域，尤其涉及一种终端设备上的操作实现方法、装置、设备及存储介质。

背景技术

随着电子技术的快速发展，移动终端等智能终端设备的应用越来越普及，各种类型的智能终端设备为人们带来便利的同时，其复杂的功能应用和操作方法也使得智能终端设备存在易用性缺陷，尤其是针对学习能力较差、记忆不好的老年人来说，复杂繁琐的智能终端设备的操作方法，致使老年人对智能终端设备产生抵触思想，导致智能终端设备在老年人群体中的适用性普遍较低。

相关技术下，针对老年人不易使用智能终端设备的问题，传统的解决方案是在老年人需要的时候，由年轻人进行现场指导和教学，或是由年轻人远程控制老年人的智能终端设备，帮助老年人完成想要的操作。

例如，当老年人想要通过手机与儿女进行远程沟通时，年轻人通过现有的远程协作类应用获得老人手机的控制权，为他们下载相应的社交应用并注册账号，再指导他们学习社交应用的使用方法。

然而，采用上述方法时，操控方与被操控方必须时空上同时在线，对双方的时间等条件的限制较为严格，也未能改善操作繁琐的问题，并且，远程协作属于一次性动作，只能短暂解决当下的一些操作问题，无法满足老年人长期的实时需求。

发明内容

本申请提供了一种终端设备上的操作实现方法、装置、设备及存储介质，用以提高智能终端设备在特定群体中的适用性。

第一方面，本申请实施例提供了一种终端设备上的操作实现方法，应用于第一终端设备，所述方法包括：

接收来自第二终端设备的目标操作路径指令，目标操作路径指令用于实现目标操作；

显示目标功能选项；

响应于对目标功能选项的选择操作，运行目标操作路径指令以执行目标操作，并显示目标操作。

第二方面，本申请实施例提供了一种终端设备上的操作实现方法，应用于第二终端设备，所述方法包括：

获取目标操作路径指令，目标操作路径指令用于实现目标操作；

向第一终端设备发送目标操作路径指令，以使得第一终端设备运行目标操作路径指令以执行目标操作，并显示目标操作。

第三方面，本申请实施例提供了一种终端设备上的操作实现方法，应用于服务器，所述方法包括：

接收第二终端设备发送的语音数据，语音数据中包含与目标操作相关的信息；

基于语音数据，获得目标操作路径指令；

将目标操作路径指令发送给第二终端设备，以使第二终端设备将目标操作路径指令发送给第一终端设备后，使得第一终端设备运行目标操作路径指令以执行目标操作，并显示目标操作。

第四方面，本申请实施例还提供了一种终端设备上的操作实现装置，应用于第一终端设备，所述装置包括：

指令接收模块，用于接收来自第二终端设备的目标操作路径指令，目标操作路径指令用于实现目标操作；

功能显示模块，用于显示目标功能选项；

指令运行模块，用于响应于对目标功能选项的选择操作，运行目标操作路径指令以执行目标操作，并显示目标操作。

在一种可能的实现方式中，在显示目标功能选项之前，功能显示模块还用于：

基于目标操作路径指令生成目标功能选项。

在一种可能的实现方式中，在运行目标操作路径指令以执行目标操作，并显示目标操作之前，指令运行模块还用于执行以下步骤中的至少一个：

确定目标操作路径指令符合目标规定；

确定第二终端设备处于目标名单内；

接收输入的授权指示，授权指示用于指示第一终端设备有权限执行目标操作路径指令。

在一种可能的实现方式中，目标操作路径指令是由第二终端设备采集的语音数据生成的，语音数据中包含与目标操作相关的信息。

在一种可能的实现方式中，目标操作包含多个子操作；

显示目标操作时，指令运行模块用于：

显示多个子操作。

第五方面，本申请实施例还提供了一种终端设备上的操作实现装置，应用于第二终端设备，所述装置包括：

指令获取模块，用于获取目标操作路径指令，目标操作路径指令用于实现目标操作；

指令转发模块，用于向第一终端设备发送目标操作路径指令，以使得第一终端设备运行目标操作路径指令以执行目标操作，并显示目标操作。

在一种可能的实现方式中，获取目标操作路径指令时，指令获取模块用于：

采集输入的语音数据，语音数据中包含与目标操作相关的信息；

向服务器发送语音数据；

接收来自服务器的目标操作路径指令，目标操作路径指令是根据语音数据得到的。

在一种可能的实现方式中，采集输入的语音数据时，指令获取模块用于：

确定目标操作关联的操作需求；

针对操作需求对应的至少一个操作路径描述信息，采集输入的语音数据，其中，每个操作路径描述信息对应一条语音信息。

第六方面，本申请实施例还提供了一种终端设备上的操作实现装置，应用于服务器，所述装置包括：

语音接收模块，用于接收第二终端设备发送的语音数据，语音数据中包含与目标操作相关的信息；

指令转换模块，用于基于语音数据，获得目标操作路径指令；

指令发送模块，用于将目标操作路径指令发送给第二终端设备，以使第二终端设备将目标操作路径指令发送给第一终端设备后，使得第一终端设备运行目标操作路径指令以执行目标操作，并显示目标操作。

在一种可能的实现方式中，基于语音数据，获得目标操作路径指令时，指令转换模块用于：

针对语音数据中包含的至少一条语音信息，分别执行以下操作：基于一条语音信息对应的操作路径描述信息，获得用于执行相应的至少一个子操作的子操作指令；

基于至少一条语音信息的输入顺序，对获得的至少一个子操作指令进行拼接，获得目标操作路径指令。

在一种可能的实现方式中，基于一条语音信息对应的操作路径描述信息，获得用于执行相应的至少一个子操作的子操作指令时，指令转换模块用于：

提取一个操作路径描述信息对应的音素序列，音素序列由一个操作路径描述信息中各语句对应的多个语音单位组成；

获取与音素序列的关联度满足设定阈值的文本信息；

将文本信息划分为多个分词，以及，针对多个分词进行编码，获得多个词向量，并基于多个词向量获得子操作指令。

第七方面，本申请实施例提供一种计算设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面至第三方面任一项所述的方法。

第八方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面至第三方面任一所述方法的步骤。

第九方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品在被计算机调用时，使得所述计算机执行如第一方面至第三方面所述的方法。

本申请的有益效果如下：

本申请实施例中，提出了一种终端设备上的操作实现方法、装置、设备及存储介质，服务器接收第二终端设备发送的语音数据，并基于语音数据生成操作路径指令后，经由第二终端设备将操作路径指令发送给第一终端设备，第一终端设备接收来自第二终端设备的用于实现目标操作的目标操作路径指令，并显示目标功能选项，而后响应于对目标功能选项的选择操作，运行目标操作路径指令以执行目标操作，并显示目标操作。这样，通过自动语音识别技术录制智能设备的操作方法，可以解放双手和双眼，将录制的语音信息转化为操作路径指令持久化存储于终端设备中，在需要的时候直接点击对应的功能选项，即可控制智能终端设备自动完成相应操作，随点随用，满足终端设备使用者的实时需求，并且，录制操作路径指令和使用操作路径指令的双方不需要时空上同步在线，避免了远程控制过程中操控方与被操控方时空不同步的限制问题。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

图1为本申请实施例的应用场景示意图；

图2为本申请实施例中应用于第一终端设备上的操作实现方法流程图；

图3为本申请实施例中一种操作路径指令格式示意图；

图4为本申请实施例中重复选取目标操作指令执行目标操作的场景示意图；

图5为本申请实施例中应用于第二终端设备上的操作实现方法流程图；

图6为本申请实施例中第二终端设备获取目标操作路径指令的方法流程图；

图7为本申请实施例中第二终端设备采集语音数据上传至服务器的第一场景示意图；

图8为本申请实施例中第二终端设备采集语音数据上传至服务器的第二场景示意图；

图9为本申请实施例中应用于服务器上的一种终端设备上的操作实现方法流程图；

图10为本申请实施例中一种基于语音信息获得子操作指令的方法流程图；

图11为本申请实施例中创建操作路径指令及使用操作路径指令的第一场景示意图；

图12为本申请实施例中创建操作路径指令及使用操作路径指令的第二场景示意图；

图13为本申请实施例中一种终端设备上的操作实现装置的第一结构示意图；

图14为本申请实施例中一种终端设备上的操作实现装置的第二结构示意图；

图15为本申请实施例中一种终端设备上的操作实现装置的第三结构示意图；

图16为本申请实施例中一种计算设备的一个硬件组成结构示意图；

图17为本申请实施例中另一种计算设备的一个硬件组成结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够在除了这里图示或描述的那些以外的顺序实施。

以下对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

(1)远程控制：指管理人员在异地通过计算机网络异地拨号或双方都接入Internet等手段，连通需被控制的计算机，将被控计算机的桌面环境显示到管理人员的计算机上，通过本地计算机对远方计算机进行配置、软件安装程序、修改等工作。

(2)自动语音识别(Automatic Speech Recognition，ASR)：通过声学和语音模型将音频内容转化为可能性最大的文本数据，实现语音转文本的功能。

(3)自然语言处理(Natural Language Processing，NLP)：是计算机科学领域与人工智能领域中的一个重要方向，旨在让计算机能够理解、分析、处理人类语言，包括文本、语音和图像等形式。

(4)JSON(JavaScript Object Notation)：是一种轻量级的数据交换格式，易于人的阅读和编写，可以在多种语言之间进行数据交换，同时也易于机器解析和生成。

下面对本申请实施例的设计思想进行简要介绍：

目前，移动终端等智能终端设备的应用越来越普及，在智能终端设备为人们提供更多丰富的娱乐和社交方式的同时，智能终端设备的功能应用和操作方法也变得越来越复杂，对于学习能力较差、记忆不好的老年人等特定群体来说，复杂的操作方法也成为了智能终端设备为老年人提供便捷服务的阻碍。

例如，老年人不会操作手机和他人进行视频通话，或是通过移动支付来进行线上交易，以及发布社交动态扩大交流圈等等。

相关技术下，为了解决老年人不易使用智能终端设备的问题，通常是由年轻人进行现场指导和教学，或是由年轻人远程控制老年人的智能终端设备，帮助老年人完成想要的操作。

然而，现有的远程控制类应用，如手机远程协助控制、向日葵远程控制等，使用时，操控方与被操控方需约定同一时间来完成操控与被操控的动作，即操控方与被操控方必须时空上同时在线，对双方的时间等条件的限制较为严格，若年轻人工作繁忙，老年人的问题将难以及时得到解决。

并且，远程控制时，操控与被操控的过程属于一次性动作不能重入，只能短暂解决当下的一些操作问题，而老年人通常无法长期记忆复杂的操作方法，故远程控制仍旧无法满足老年人长期的实时需求。

有鉴于此，本申请实施例中，提出了一种终端设备上的操作实现方法、装置、设备及存储介质。服务器接收第二终端设备发送的语音数据，并基于语音数据生成操作路径指令后，经由第二终端设备将操作路径指令发送给第一终端设备，第一终端设备接收来自第二终端设备的用于实现目标操作的目标操作路径指令，并显示目标功能选项，而后响应于对目标功能选项的选择操作，运行目标操作路径指令以执行目标操作，并显示目标操作。

这样，通过自动语音识别技术录制智能终端设备的操作方法，可以解放双手和双眼，将录制的语音信息转化为操作路径指令，持久化存储于终端设备中，在需要的时候直接点击对应的功能选项，即可控制智能终端设备自动完成相应操作，随点随用，满足终端设备使用者的实时需求，并且，录制操作路径指令和使用操作路径指令的双方不需要时空上同步在线，避免了远程控制过程中操控方与被操控方时空不同步的限制问题。

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请实施例及实施例中的特征可以相互组合。

参阅图1所示，为本申请实施例中可能的应用场景示意图。

该应用场景中包括终端设备110(包括终端设备1101、终端设备1102…终端设备110n)和服务器120，终端设备110与服务器120之间可以通过通信网络进行通信。

在一种可选的实施方式中，通信网络可以是有线网络或无线网络。因此，终端设备110和服务器120可以通过有线或无线通信方式进行直接或间接地连接。比如，终端设备110可以通过无线接入点与服务器120间接地连接，或发终端设备110通过因特网与服务器120直接地连接，本申请在此不做限制。

在本申请实施例中，终端设备110包括但不限于手机、平板电脑、笔记本电脑、台式电脑、电子书阅读器、智能语音交互设备、智能家电、车载终端等设备；终端设备上可以安装有各种客户端，该客户端可以是支持视频预览、视频播放等功能的应用程序(例如浏览器、游戏软件等)，也可以是网页、小程序等；

服务器120是与终端设备110中安装的客户端相对应的后台服务器。服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

需要说明的是，本申请实施例中的终端设备上的操作实现方法可以部署在计算设备中，该计算设备可以为服务器或终端设备，其中服务器可以为图1中所示的服务器120，也可以为除图1中所示的服务器120以外的其他服务器；终端设备可以为图1中所示的终端设备110，也可以为除图1中所示的终端设备110以外的其他终端设备，即，该方法可以由服务器或者终端设备单独执行，也可以由服务器和终端设备共同执行。

需要说明的是，在下文中，主要是以服务器单独执行为例进行举例说明的，在此不做具体限定。

需要说明的是，图1所示只是举例说明，实际上终端设备110和服务器120的数量不受限制，在本申请实施例中不做具体限定。

本申请实施例中，当服务器120的数量为多个时，多个服务器120可组成为一区块链，而服务器120为区块链上的节点。

具体的，本申请所提供的方法可以运用于年轻人教老人使用手机的场景中，例如，第一终端设备为老人使用的手机，第二终端设备为年轻人使用的手机，服务器可以为配置于年轻人手机中的后台引擎，也可以为第三方后台引擎，下面以该场景为例，对本申请所提供的一种终端设备上的操作实现方法进行详细说明：

参阅图2所示，其为本申请实施例中应用于第一终端设备上的操作实现方法流程图，具体包括：

步骤S201：接收来自第二终端设备的目标操作路径指令。

其中，目标操作路径指令用于实现目标操作。

具体的，本申请实施例中，目标操作路径指令是由第二终端设备采集的语音数据生成的，语音数据中包含与目标操作相关的信息，并且，目标操作包含多个子操作。

例如，老人接收年轻人发送的控制手机发朋友圈的操作路径指令，其中，该操作路径指令是由年轻人录制的语音数据生成的，对应的语音数据如“打开微信切换到发现页，点击朋友圈，再点击右上角的相机图标，再点击从相册选择照片。”其中包含发朋友圈的路径描述信息，也就是说，该操作路径指令对应的目标操作为发朋友圈，其中包含了打开微信、点击朋友圈、点击相机图标，以及点击从相册中选择照片的多个子操作。

步骤S202：显示目标功能选项。

具体的，本申请实施例中，第二终端设备在显示目标功能选项之前，首先要基于目标操作路径指令生成目标功能选项。

例如，老人用手机接收到发朋友圈的操作路径指令后，手机将生成名为发朋友圈的功能选项，老人点击该功能选项，手机将自动执行发朋友圈的操作。

步骤S203：响应于对目标功能选项的选择操作，运行目标操作路径指令以执行目标操作，并显示目标操作。

进一步的，第一终端设备响应于对目标功能选项的选择操作，运行目标操作路径指令以执行目标操作，并显示目标操作，其中，由于目标操作包含多个子操作，则显示目标操作包括依次显示多个子操作。

例如，老人的手机响应于老人对发朋友圈这个功能选项的点击操作，开始运行发朋友圈对应的操作路径指令，并在手机界面上依次显示打开微信等子操作，直到完成点击相册选择照片的子操作后，界面停留在相册页面处，等待老人选择待发表的图片，从而帮助老人完成发朋友圈的操作。

可选的，本申请实施例中，第一终端设备在运行目标操作路径指令以执行目标操作，并显示目标操作之前，还会执行以下步骤中的至少一个：

(1)确定目标操作路径指令符合目标规定。

(2)确定第二终端设备处于目标名单内。

(3)接收输入的授权指示。

其中，授权指示用于指示第一终端设备有权限执行目标操作路径指令。

对于上述步骤(1)，第一终端设备在运行目标操作路径指令之前，判断目标操作路径指令是否满足预设的指令格式。

例如，参阅图3所示，其为本申请实施例中一种操作路径指令格式示意图，该操作路径指令为多个键值对成员组成的json格式，其中，operate_path:[]为操作路径指令的主体，若目标操作路径指令不满足该格式，则目标操作指令无法运行。

对于上述步骤(2)，第一终端设备在运行目标操作路径指令之前，判断目第二终端设备是否处于预设的受信名单内。

具体的，结合图3所示，该操作路径指令格式中除了保存操作指令之外，还有操作指令对应的录制者的声纹信息，即voice_character_value:"语音特征值"，基于该声纹信息，可以确定第二终端设备的使用者的身份标识。

若身份标识在预设的受信名单中，则表征第一终端设备在接收到当前的目标操作路径指令之前，曾经使用过同一录制者创建过的其他操作路径指令，且该录制者为受信对象，因此，第一终端设备可以运行当前的目标操作路径指令以执行目标操作。

若身份标识不在预设的受信名单中，表征第一终端设备第一次接收到该录制者创建的操作路径指令，因此，第一终端设备发出认证提醒，提示第一终端设备的使用者对该录制者的身份进行认证，若第一终端设备的使用者确认该录制者的身份可信，则对其进行认证，第一终端设备随后将其身份标识添加至受信名单中。

此外，第一终端设备的使用者首次对目标操作指令的录制者的身份进行认证后，第一终端设备还会将目标操作路径指令保存至预设的存储区中，构建操作指令库，具体的，本申请实施例中，可以将目标操作路径指令保存在老人手机的SD卡中，并对其命名归类，从而实现操作路径指令的持久化存储，方便老人在需要的时候可以重复使用目标操作路径指令。

对于上述步骤(3)，第一终端设备在运行目标操作路径指令之前，第一终端设备需要接收使用者输入的授权指示，具体包括以下两种情况：

情况一：若目标操作需要由目标应用及其关联应用共同执行，则第一终端设备首先确定目标应用是否具有访问其关联应用的权限，若有，则第一终端设备基于目标应用和关联应用共同执行目标操作，否则，第一终端设备发出权限申请，并响应于使用者触发的权限允许操作，执行目标操作。

例如，发朋友圈对应的目标应用为微信，其对应的关联应用为相册，第一终端设备需确定微信具有访问相册的权限，才能运行发朋友圈对应的目标操作路径指令。

情况二：若目标操作中包含待审核的子操作，则第一终端设备发出审核提醒，并在第一终端设备的使用者针对审核提醒触发执行操作后，执行目标操作，其中，待审核操作至少包括支付操作和转账操作中的任意一种或任意组合。

例如，当目标操作中包含支付操作或转账操作时，手机将弹出审核提醒界面，提醒老人是否确认进行支付或者转账，从而保证老人的权益。

上述过程为老人首次接收年轻人发送的操作路径指令并运行，以执行目标操作的过程，当操作指令被持久化保存于老人手机中后，老人可以在需要的时候选择任意一个操作指令重复执行，从而满足老人的实时需求。

例如，参阅图4所示，其为本申请实施例中重复选取目标操作指令执行目标操作的场景示意图，老人从预设的可视化界面中点击选取目标操作路径指令，手机则自动执行对应的目标操作，并在执行之前，根据指令情况向老人发出审核提醒和关联应用访问请求，最后完成相应的目标操作。

另一方面，参阅图5所示，其为本申请实施例中应用于第二终端设备上的操作实现方法流程图，具体包括：

步骤S501：获取目标操作路径指令。

其中，目标操作路径指令用于实现目标操作。

具体的，参阅图6所示，其为本申请实施例中第二终端设备获取目标操作路径指令的方法流程图，具体包括以下步骤：

步骤S5011：采集输入的语音数据。

其中，语音数据中包含与目标操作相关的信息，具体包括每条语音信息对应的操作路径描述信息。

具体的，本申请实施例中，年轻人首先确定目标操作关联的操作需求，该操作需求可以是老人提出的实时需求，也可以是年轻人自主认为老人所需要的潜在需求，并针对操作需求对应的至少一个操作路径描述信息，开始输入语音数据。

可选的，在输入语音数据时，年轻人可以一次性将包含所有子操作的操作路径描述信息录制为一条完整的语音信息，也可以分步录制多条语音信息。

步骤S5012：向服务器发送语音数据。

第二终端设备对使用者输入的语音数据采集完成后，将语音数据上传至服务器进行处理，获得相应的目标操作路径指令。

参阅图7所示，其为本申请实施例中第二终端设备采集语音数据上传至服务器的第一场景示意图，以年轻人录制操作路径指令协助老人使用手机发朋友圈的应用场景为例，年轻人采用一次性录制的方式，将发朋友圈的操作路径描述信息录制为一条语音信息，例如：“打开微信切换到发现页，点击朋友圈，再点击右上角的相机图标，再点击从相册选择照片。”

参阅图8所示，其为本申请实施例中第二终端设备采集语音数据上传至服务器的第二场景示意图，年轻人采用分步录制的方式，将发朋友圈的操作路径描述信息录制为多条语音信息，例如：“打开微信切换到发现页”；“点击朋友圈”；“点击右上角的相机图标”；“点击从相册选择照片”。

步骤S5013：接收来自服务器的目标操作路径指令。

其中，目标操作路径指令是根据语音数据得到的。

进一步的，第二终端设备接收服务器回传的目标操作路径指令，此时，第一终端设备的使用者可以对目标操作路径指令的格式进行初步检验，以确保目标操作指令能顺利运行。

例如，年轻人点击目标操作指令，若目标操作指令能够完成对应的目标操作，则表示目标操作路径指令满足预设的指令格式。

步骤S502：向第一终端设备发送目标操作路径指令，以使得第一终端设备运行目标操作路径指令以执行目标操作，并显示目标操作。

进一步的，第一终端设备将目标操作路径指令发送给第一终端设备，以使第一终端设备的使用者能够按照需求在任意时刻运行目标操作路径指令，完成目标操作。

此外，本申请实施例中还提供了一种终端设备上的操作实现方法，应用于服务器，参阅图9所示，其为本申请实施例中应用于服务器上的一种终端设备上的操作实现方法流程图，具体包括：

步骤S901：接收第二终端设备发送的语音数据。

其中，语音数据中包含与目标操作相关的信息。

步骤S902：基于语音数据，获得目标操作路径指令。

具体的，本申请实施例中，服务器中配置有已训练的ASR模型和NLP模型，分别负责将语音信息转换为文本信息，以及将文本信息转换为操作指令。

服务器在获得目标操作路径指令时，针对语音数据中包含的至少一条语音信息，分别执行以下操作：基于一条语音信息对应的操作路径描述信息，获得用于执行相应的至少一个子操作的子操作指令。

基于至少一条语音信息的输入顺序，对获得的至少一个子操作指令进行拼接，获得目标操作路径指令。

其中，参阅图10所示，其为本申请实施例中一种基于语音信息获得子操作指令的方法流程图，具体包括：

步骤S1001：提取一个操作路径描述信息对应的音素序列。

其中，音素序列由一个操作路径描述信息中各语句对应的多个语音单位组成。

例如，图7所示的一条语音信息中包含四个操作路径描述信息，图8所示的四条语音信息分别包含一个操作路径描述信息，ASR在对语音信息中的操作路径信息进行处理时，首先提取其对应的音素序列，音素是根据语音的自然属性划分出来的最小语音单位，依据音节里的发音动作来分析，一个动作构成一个音素，如汉语音节啊(ā)只有一个音素，爱(ài)有两个音素，代(dài)有三个音素等，故一个操作路径描述信息中各语句对应的多个语音单位组成一个操作路径描述信息对应的音素序列。

步骤S1002：获取与音素序列的关联度满足设定阈值的文本信息。

获得操作路径描述信息对应的音素序列之后，查询字或者词与音素的对应，可以理解为，中文为拼音和汉字的对应，英文为音标与单词的对应，从而获取与音素序列的关联度满足设定阈值的文本信息。

需要说明的是，本申请实施例中将语音信息转换为文本信息时，可以直接使用相关技术下较为完善的自动语音识别技术，本申请对此不做限制。

步骤S1003：将文本信息划分为多个分词，以及，针对多个分词进行编码，获得多个词向量，并基于多个词向量获得子操作指令。

进一步的，本申请实施例中，获得语音信息对应的文本信息之后，采用已训练的NLP模型对文本信息进行处理，获得易于机器解析和执行的操作路径指令。

具体包括：对文本信息进行简繁体转换、去除标签和特殊字符等预处理工作，进而将文本信息切割成多个单词或短语形式的分词，针对每个分词进行编码，获得多个词向量，编码旨在将文本数据转换为计算机能识别的数值型数据，常用的编码方式如词袋模型中的one-hot编码等。

获得词向量之后，采用机器学习算法或深度学习算法学习词向量之间的语义信息，进而生成操作路径描述信息对应的子操作指令。

步骤S903：将目标操作路径指令发送给第二终端设备，以使第二终端设备将目标操作路径指令发送给第一终端设备后，使得第一终端设备运行目标操作路径指令以执行目标操作，并显示目标操作。

进一步的，服务器将由语音数据转换而来的目标操作路径指令回传至第二终端设备，第二终端设备再将目标操作路径指令转发给第一终端设备，使得第一终端设备的使用者在需要的时候，可以基于目标操作路径指令完成目标操作。

需要说明的是，在上述过程中，年轻人使用自己的手机录制语音数据，并上传至服务器生成目标操作路径指令，再接收服务器回传的目标操作路径指令后转发至老人的手机中保存，从而可以实现在老人和年轻人时空不同步的基础上帮助老人使用智能手机，并且在操作路径指令足够多的情况下，可以满足老人的实时需求。

参阅图11所示，其为本申请实施例中创建操作路径指令及使用操作路径指令的第一场景示意图，假设终端设备A为年轻人的手机，终端设备B为老人的手机，则年轻人通过终端设备A在任意时间录制语音数据并上传至服务器，以及接收服务器回传的基于语音数据转换的操作指令，再由年轻人通过终端设备A将操作路径指令转发至终端设备B，老人通过终端设备B接收操作路径指令后对其进行合法性验证，具体包括对终端设备A身份的合法性检验，以及操作指令执行权限等合法性验证(具体验证流程见前文所述)，并在检验通过后，由终端设备B自动保存操作指令，后续即可在任意时间点击操作路径指令执行相应目标操作。

在另一种可选的实施例中，年轻人还可以直接使用老人的手机录制语音数据，例如参阅图12所示，其为本申请实施例中创建操作路径指令及使用操作路径指令的第二场景示意图，其中，终端设备B为老人的手机，年轻人可以选择在合适的时间，直接通过终端设备B录制语音数据并上传至服务器，以及接受服务器回传的基于语音数据转换的操作指令，再由老人对操作指令进行合法性检验，该方式中可以节省老人手机对年轻人手机的受信验证环节。

综上所述，本申请实施例中，通过自动语音识别技术和自然语言处理技术，录制手机等移动终端的操作指令，并将操作指令持久化存储，可以实现操作指令的随点随用和重复使用，录制操作指令和使用操作指令的双方无需时空上同步在线，使得信息时代下，老人等特殊群体也能享受互联网带来的便利性服务，同时，针对操作指令的创建者的身份进行合法性验证，以及审核操作指令中的待审核操作，能够保证老人基于操作指令智能控制手机时的安全性。

基于相同技术构思，参阅图13所示，本申请实施例还提供了一种终端设备上的操作实现装置1300，应用于第一终端设备，该装置包括：

指令接收模块1301，用于接收来自第二终端设备的目标操作路径指令，目标操作路径指令用于实现目标操作；

功能显示模块1302，用于显示目标功能选项；

指令运行模块1303，用于响应于对目标功能选项的选择操作，运行目标操作路径指令以执行目标操作，并显示目标操作。

在一种可能的实现方式中，在显示目标功能选项之前，功能显示模块1302还用于：

基于目标操作路径指令生成目标功能选项。

在一种可能的实现方式中，在运行目标操作路径指令以执行目标操作，并显示目标操作之前，指令运行模块1303还用于执行以下步骤中的至少一个：

确定目标操作路径指令符合目标规定；

确定第二终端设备处于目标名单内；

接收输入的授权指示，授权指示用于指示第一终端设备有权限执行目标操作路径指令。

在一种可能的实现方式中，目标操作路径指令是由第二终端设备采集的语音数据生成的，语音数据中包含与目标操作相关的信息。

在一种可能的实现方式中，目标操作包含多个子操作；

显示目标操作时，指令运行模块用于：

显示多个子操作。

基于相同技术构思，参阅图14所示，本申请实施例还提供了一种终端设备上的操作实现装置1400，应用于第二终端设备，该装置包括：

指令获取模块1401，用于获取目标操作路径指令，目标操作路径指令用于实现目标操作；

指令转发模块1402，用于向第一终端设备发送目标操作路径指令，以使得第一终端设备运行目标操作路径指令以执行目标操作，并显示目标操作。

在一种可能的实现方式中，获取目标操作路径指令时，指令获取模块1401用于：

采集输入的语音数据，语音数据中包含与目标操作相关的信息；

向服务器发送语音数据；

接收来自服务器的目标操作路径指令，目标操作路径指令是根据语音数据得到的。

在一种可能的实现方式中，采集输入的语音数据时，指令获取模块1401用于：

确定目标操作关联的操作需求；

针对操作需求对应的至少一个操作路径描述信息，采集输入的语音数据，其中，每个操作路径描述信息对应一条语音信息。

基于相同技术构思，参阅图15所示，本申请实施例还提供了一种终端设备上的操作实现装置1500，应用于服务器，该装置包括：

语音接收模块1501，用于接收第二终端设备发送的语音数据，语音数据中包含与目标操作相关的信息；

指令转换模块1502，用于基于语音数据，获得目标操作路径指令；

指令发送模块1503，用于将目标操作路径指令发送给第二终端设备，以使第二终端设备将目标操作路径指令发送给第一终端设备后，使得第一终端设备运行目标操作路径指令以执行目标操作，并显示目标操作。

在一种可能的实现方式中，基于语音数据，获得目标操作路径指令时，指令转换模块1502用于：

针对语音数据中包含的至少一条语音信息，分别执行以下操作：基于一条语音信息对应的操作路径描述信息，获得用于执行相应的至少一个子操作的子操作指令；

基于至少一条语音信息的输入顺序，对获得的至少一个子操作指令进行拼接，获得目标操作路径指令。

在一种可能的实现方式中，基于一条语音信息对应的操作路径描述信息，获得用于执行相应的至少一个子操作的子操作指令时，指令转换模块1502用于：

提取一个操作路径描述信息对应的音素序列，音素序列由一个操作路径描述信息中各语句对应的多个语音单位组成；

获取与音素序列的关联度满足设定阈值的文本信息；

将文本信息划分为多个分词，以及，针对多个分词进行编码，获得多个词向量，并基于多个词向量获得子操作指令。

在介绍了本申请示例性实施方式的移动终端智能控制方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的计算设备。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种计算设备1600。在一种实施例中，该计算设备可以是服务器，如图1所示的服务器120。在该实施例中，计算设备的结构如图16所示，可以至少包括存储器1601、通讯模块1603，以及至少一个处理器1602。

存储器1601，用于存储处理器1602执行的计算机程序。存储器1601可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。

存储器1601可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1601也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；或者存储器1601是能够用于携带或存储具有指令或数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质，但不限于此。存储器1601可以是上述存储器的组合。

处理器1602，可以包括一个或多个中央处理单元(central processing unit，CPU)或者为数字处理单元等等。处理器1602，用于调用存储器1601中存储的计算机程序时实现上述移动终端智能控制方法。

通讯模块1603用于与终端设备和其他服务器进行通信。

本申请实施例中不限定上述存储器1601、通讯模块1603和处理器1602之间的具体连接介质。本申请实施例在图16中以存储器1601和处理器1602之间通过总线1604连接，总线1604在图16中以粗线描述，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线1604可以分为地址总线、数据总线、控制总线等。为便于描述，图16中仅用一条粗线描述，但并不描述仅有一根总线或一种类型的总线。

存储器1601中存储有计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本申请实施例的移动终端智能控制方法。处理器1602用于执行上述的移动终端智能控制方法。

在另一种实施例中，计算设备也可以是其他计算设备，如图1所示的终端设备110。在该实施例中，计算设备的结构可以如图17所示，包括：通信组件1710、存储器1720、显示单元1730、摄像头1740、传感器1750、音频电路1760、蓝牙模块1770、处理器1780等部件。

通信组件1710用于与服务器进行通信。在一些实施例中，可以包括电路无线保真(Wireless Fidelity，WiFi)模块，WiFi模块属于短距离无线传输技术，电子设备通过WiFi模块可以帮助对象收发信息。

存储器1720可用于存储软件程序及数据。处理器1780通过运行存储在存储器1720的软件程序或数据，从而执行终端设备110的各种功能以及数据处理。存储器1720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器1720存储有使得终端设备110能运行的操作系统。本申请中存储器1720可以存储操作系统及各种应用程序，还可以存储执行本申请实施例移动终端智能控制方法的计算机程序。

显示单元1730还可用于显示由对象输入的信息或提供给对象的信息以及终端设备110的各种菜单的图形用户界面(graphical user interface，GUI)。具体地，显示单元1730可以包括设置在终端设备110正面的显示屏1732。其中，显示屏1732可以采用液晶显示器、发光二极管等形式来配置。显示单元1730可以用于显示本申请实施例中的游戏模拟对局界面等。

显示单元1730还可用于接收输入的数字或字符信息，产生与终端设备110的对象设置以及功能控制有关的信号输入，具体地，显示单元1730可以包括设置在终端设备110正面的触控屏1731，可收集对象在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。

其中，触控屏1731可以覆盖在显示屏1732之上，也可以将触控屏1731与显示屏1732集成而实现终端设备110的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元1730可以显示应用程序以及对应的操作步骤。

摄像头1740可用于捕获静态图像，对象可以将摄像头1740拍摄的图像通过应用发布。摄像头1740可以是一个，也可以是多个。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器1780转换成数字图像信号。

终端设备还可以包括至少一种传感器1750，比如加速度传感器1751、距离传感器1752、指纹传感器1753、温度传感器1754。终端设备还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。

音频电路1760、扬声器1761、传声器1762可提供对象与终端设备110之间的音频接口。音频电路1760可将接收到的音频数据转换后的电信号，传输到扬声器1761，由扬声器1761转换为声音信号输出。终端设备110还可配置音量按钮，用于调节声音信号的音量。另一方面，传声器1762将收集的声音信号转换为电信号，由音频电路1760接收后转换为音频数据，再将音频数据输出至通信组件1710以发送给比如另一终端设备，或者将音频数据输出至存储器1720以便进一步处理。

蓝牙模块1770用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，终端设备可以通过蓝牙模块1770与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。

处理器1780是终端设备的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器1720内的软件程序，以及调用存储在存储器1720内的数据，执行终端设备的各种功能和处理数据。在一些实施例中，处理器1780可包括一个或多个处理单元；处理器1780还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器1780中。本申请中处理器1780可以运行操作系统、应用程序、用户界面显示及触控响应，以及本申请实施例的移动终端智能控制方法。另外，处理器1780与显示单元1730耦接。

此外需要注意的是，在本申请的具体实施方式中，涉及到与移动终端智能控制等相关的对象数据，当本申请以上实施例运用到具体产品或技术中时，需要获得对象许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

在一些可能的实施方式中，本申请提供的移动终端智能控制方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在计算设备上运行时，计算机程序用于使计算设备执行本说明书上述描述的根据本申请各种示例性实施方式的移动终端智能控制方法中的步骤。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体地例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括计算机程序，并可以在电子设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的计算机程序，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。计算机程序可以完全地在用户计算设备上执行、部分地在用户计算设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (17)

1.一种终端设备上的操作实现方法，其特征在于，应用于第一终端设备，包括：

接收来自第二终端设备的目标操作路径指令，所述目标操作路径指令用于实现目标操作；

显示目标功能选项；

响应于对所述目标功能选项的选择操作，运行所述目标操作路径指令以执行所述目标操作，并显示所述目标操作。

2.如权利要求1所述的方法，其特征在于，在所述显示目标功能选项之前，所述方法还包括：

基于所述目标操作路径指令生成所述目标功能选项。

3.如权利要求1所述的方法，其特征在于，在所述运行所述目标操作路径指令以执行所述目标操作，并显示所述目标操作之前，所述方法还包括以下步骤中的至少一个：

确定所述目标操作路径指令符合目标规定；

确定所述第二终端设备处于目标名单内；

接收输入的授权指示，所述授权指示用于指示所述第一终端设备有权限执行所述目标操作路径指令。

4.如权利要求1所述的方法，其特征在于，所述目标操作路径指令是由所述第二终端设备采集的语音数据生成的，所述语音数据中包含与所述目标操作相关的信息。

5.如权利要求1-4中任意一项所述的方法，其特征在于，所述目标操作包含多个子操作；

所述显示所述目标操作包括：

显示所述多个子操作。

6.一种终端设备上的操作实现方法，其特征在于，应用于第二终端设备，包括：

获取目标操作路径指令，所述目标操作路径指令用于实现目标操作；

向第一终端设备发送所述目标操作路径指令，以使得所述第一终端设备运行所述目标操作路径指令以执行所述目标操作，并显示所述目标操作。

7.如权利要求6所述的方法，其特征在于，所述获取目标操作路径指令包括：

采集输入的语音数据，所述语音数据中包含与所述目标操作相关的信息；

向服务器发送所述语音数据；

接收来自所述服务器的目标操作路径指令，所述目标操作路径指令是根据所述语音数据得到的。

8.如权利要求7所述的方法，其特征在于，所述采集输入的语音数据，包括：

确定所述目标操作关联的操作需求；

针对所述操作需求对应的至少一个操作路径描述信息，采集所述输入的语音数据，其中，每个操作路径描述信息对应一条语音信息。

9.一种终端设备上的操作实现方法，其特征在于，应用于服务器，包括：

接收第二终端设备发送的语音数据，所述语音数据中包含与目标操作相关的信息；

基于所述语音数据，获得目标操作路径指令；

将所述目标操作路径指令发送给所述第二终端设备，以使所述第二终端设备将所述目标操作路径指令发送给第一终端设备后，使得所述第一终端设备运行所述目标操作路径指令以执行所述目标操作，并显示所述目标操作。

10.如权利要求9所述的方法，其特征在于，所述基于所述语音数据，获得目标操作路径指令包括：

针对所述语音数据中包含的至少一条语音信息，分别执行以下操作：基于一条语音信息对应的操作路径描述信息，获得用于执行相应的至少一个子操作的子操作指令；

基于至少一条语音信息的输入顺序，对获得的至少一个子操作指令进行拼接，获得所述目标操作路径指令。

11.如权利要求10所述的方法，其特征在于，所述基于一条语音信息对应的操作路径描述信息，获得用于执行相应的至少一个子操作的子操作指令包括：

提取一个操作路径描述信息对应的音素序列，所述音素序列由所述一个操作路径描述信息中各语句对应的多个语音单位组成；

获取与所述音素序列的关联度满足设定阈值的文本信息；

将所述文本信息划分为多个分词，以及，针对所述多个分词进行编码，获得多个词向量，并基于所述多个词向量获得所述子操作指令。

12.一种终端设备上的操作实现装置，其特征在于，应用于第一终端设备，包括：

指令接收模块，用于接收来自第二终端设备的目标操作路径指令，所述目标操作路径指令用于实现目标操作；

功能显示模块，用于显示目标功能选项；

指令运行模块，用于响应于对所述目标功能选项的选择操作，运行目标操作路径指令以执行所述目标操作，并显示所述目标操作。

13.一种终端设备上的操作实现装置，其特征在于，应用于第二终端设备，包括：

指令获取模块，用于获取目标操作路径指令，所述目标操作路径指令用于实现目标操作；

指令转发模块，用于向第一终端设备发送所述目标操作路径指令，以使得所述第一终端设备运行目标操作路径指令以执行所述目标操作，并显示所述目标操作。

14.一种终端设备上的操作实现装置，其特征在于，应用于服务器，包括：

语音接收模块，用于接收第二终端设备发送的语音数据，所述语音数据中包含与目标操作相关的信息；

指令转换模块，用于基于所述语音数据，获得目标操作路径指令；

指令发送模块，用于将所述目标操作路径指令发送给所述第二终端设备，以使所述第二终端设备将所述目标操作路径指令发送给第一终端设备后，使得所述第一终端设备运行所述目标操作路径指令以执行所述目标操作，并显示所述目标操作。

15.一种计算设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-11中任一项所述的方法。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-11中任一所述方法的步骤。

17.一种计算机程序产品，其特征在于，所述计算机程序产品在被计算机调用时，使得所述计算机执行如权利要求1-11任一项所述的方法。