CN111263016A - 通讯辅助方法、装置、计算机设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种通讯辅助方法、装置、计算机设备和存储介质。该方法包括：在第一用户标识所在的第一终端与第二用户标识所在的第二终端进行通讯时，所述第一终端获取目标辅助信息，并在所述第一终端上展示所述目标辅助信息；其中，所述目标辅助信息是对所述第一用户标识和所述第二用户标识之间的目标通讯内容进行检测产生的。上述通讯辅助方法、装置、计算机设备和存储介质，使得第一终端在通讯的同时，能够展示目标辅助信息，不需要额外采用其他设备来输出目标辅助信息，节省了设备资源，降低了成本。

Description

通讯辅助方法、装置、计算机设备和计算机可读存储介质

技术领域

本申请涉及人工智能领域，特别是涉及一种通讯辅助方法、装置、计算机设备和计算机可读存储介质。

背景技术

为了给用户提供更加优质的服务，许多企业都配备有直接对用户进行服务的客服人员。在实际应用中，客服人员可以通过与用户进行电话等通讯方式，为用户提供业务咨询、业务办理以及业务推荐等方面的服务。

由于企业为用户提供的业务的类型是多种多样的，客服人员无法全部掌握并记忆，因此，相关技术中，在与用户进行通讯的过程中，客服人员通常需要根据用户的需求查询数据库，并基于查询到的辅助信息为用户提供服务。

为了提高查询辅助信息的效率，传统的辅助方式是在客服人员使用电话等通讯工具与用户进行通讯时，通过坐席辅助系统等辅助工具对通讯内容进行分析，然后在客服人员面前的计算机上显示辅助信息，来帮助客服人员。然而，传统的辅助方式，成本较高。

发明内容

基于此，有必要针对上述技术问题，提供一种能够降低成本的通讯辅助方法、装置、计算机设备和计算机可读存储介质。

一种通讯辅助方法，所述方法包括：

在第一用户标识所在的第一终端与第二用户标识所在的第二终端进行通讯时，所述第一终端获取目标辅助信息，并在所述第一终端上展示所述目标辅助信息；其中，所述目标辅助信息是对所述第一用户标识和所述第二用户标识之间的目标通讯内容进行检测产生的。

在其中一个实施例中，所述方法还包括：

所述第一终端通过目标应用程序获取第一用户标识所选的第二用户标识，向所述第二用户标识所在的第二终端发起通讯请求；

所述第一终端接收到所述第二终端返回的应答信号，并根据所述应答信号与所述第二终端建立通讯连接。

在其中一个实施例中，所述第一终端获取目标辅助信息，并展示所述目标辅助信息，包括：

所述第一终端上的目标应用程序获取目标辅助信息，并在所述目标应用程序对应的页面中展示所述目标辅助信息。

在其中一个实施例中，在所述获取目标辅助信息之前，所述方法还包括：

获取所述第一用户标识和所述第二用户标识之间的目标通讯内容；

对所述目标通讯内容进行特征提取，得到所述目标通讯内容的特征信息；

当根据所述目标通讯内容的特征信息确定所述目标通讯内容满足预设的触发条件时，获取所述目标通讯内容对应的所述目标辅助信息。

在其中一个实施例中，所述目标通讯内容的特征信息包括语速信息、语义信息、情感信息、抢话信息和关键词信息中的至少一种；

其中，所述语速信息用于指示每个用户标识在通讯时的语速；所述语义信息用于指示所述目标通讯内容的语义；所述情感信息用于指示每个用户标识在通讯时的情绪，所述抢话信息用于指示每个用户标识在通讯时是否发生抢话的现象，所述关键词信息用于指示所述目标通讯内容是否包含预设的关键词。

在其中一个实施例中，所述目标通讯内容包括所述第一用户标识和所述第二用户标识中各用户标识的通讯音频数据；

所述对所述目标通讯内容进行特征提取，得到所述目标通讯内容的特征信息，包括：

将所述第一用户标识和所述第二用户标识中各用户标识的通讯音频数据输入至音频情感识别神经网络中，得到所述音频情感识别神经网络输出的第一概率信息，所述第一概率信息用于指示所述各用户标识在通讯时的情绪为目标情绪的概率；

根据所述第一概率信息得到所述情感信息。

在其中一个实施例中，所述根据所述第一概率信息得到所述情感信息，包括：

将所述第一用户标识和所述第二用户标识中各用户标识的通讯音频数据转化为对应的通讯文本数据；

将所述各用户标识的通讯文本数据输入至文本情感识别神经网络中，得到所述文本情感识别神经网络输出的第二概率信息，所述第二概率信息用于指示所述各用户标识在通讯时的情绪为所述目标情绪的概率；

根据所述第一概率信息和所述第二概率信息得到所述情感信息。

在其中一个实施例中，所述根据所述第一概率信息和所述第二概率信息得到所述情感信息，包括：

将所述第一概率信息和所述第二概率信息输入至综合情感识别神经网络中，得到所述综合情感识别神经网络输出的第三概率信息，所述第三概率信息用于指示各用户标识在通讯时的情绪为所述目标情绪的概率；

根据所述第三概率信息得到所述情感信息。

在其中一个实施例中，所述目所述目标通讯内容包括所述第一用户标识和所述第二用户标识中各用户标识的通讯音频数据；

所述对所述目标通讯内容进行特征提取，得到所述目标通讯内容的特征信息，包括：

获取所述各用户标识的通讯音频数据所对应的录音时间段，得到至少两个录音时间段；

获取所述至少两个录音时间段中每两个录音时间段之间的重叠时间段；

根据所述每两个录音时间段之间的重叠时间段的时长是否大于时长阈值，生成所述抢话信息。

在其中一个实施例中，所述目所述目标通讯内容包括所述第一用户标识和所述第二用户标识中各用户标识的通讯音频数据；

所述对所述目标通讯内容进行特征提取，得到所述目标通讯内容的特征信息，包括：

获取所述各用户标识的通讯音频数据所对应的录音时长；

将所述各用户标识的通讯音频数据转化为通讯文本数据，并获取所述各用户标识的通讯文本数据所包括的字数；

获取所述各用户标识的通讯文本数据所包括的字数与所述各用户标识的通讯音频数据所对应的录音时长的比值，并根据所述比值生成所述语速信息。

在其中一个实施例中，所述第一终端通过目标应用程序获取第一用户标识所选的第二用户标识，向所述第二用户标识所在的第二终端发起通讯请求，包括：

所述第一终端通过所述目标应用程序调用通讯录，并展示所述通讯录中的联系人标识，获取所述第一用户标识从所述联系人标识中所选中的目标联系人标识，并将所述目标联系人标识作为所述第二用户标识，向所述第二用户标识所在的第二终端发起通讯请求。

在其中一个实施例中，所述第一终端通过目标应用程序获取第一用户标识所选的第二用户标识，向所述第二用户标识所在的第二终端发起通讯请求，包括：

所述第一终端通过所述目标应用程序获取历史通讯记录，并展示所述历史通讯记录中的联系人标识，并获取所述第一用户标识从所述历史通讯记录中的联系人标识中所选中的目标联系人标识，并将所述目标联系人标识作为所述第二用户标识，向所述第二用户标识所在的第二终端发起通讯请求。

在其中一个实施例中，所述向所述第二用户标识所在的第二终端发起通讯请求，包括：

所述第一终端将包含有所述第二用户标识的通讯请求数据包通过互联网协议发送给服务器；其中，所述服务器用于将所述互联网协议的通讯请求数据包转化为会话初始协议的通讯请求数据包，并将所述会话初始协议的通讯请求数据包发送给线路资源，以使所述线路资源通过公共电话交换网络将所述通讯请求数据包发送给所述第二终端。

在其中一个实施例中，所述方法还包括：

所述第一终端获取第一用户标识对应的第一语音数据，通过互联网协议发送给服务器；所述服务器用于将所述第一语音数据通过实时传输协议发送给线路资源，以使所述线路资源通过移动通信网络协议将所述第一语音数据传输给所述第二终端。

在其中一个实施例中，所述方法还包括：

所述第一终端接收基于所述服务器返回的互联网协议的第二语音数据，所述基于互联网协议的第二语音数据是由所述服务器将基于实时传输协议的第二语音数据进行转化得到的；所述基于实时传输协议的第二语音数据是由线路资源将基于移动通信网络协议的第二语音数据进行转化得到的；所述第二语音数据是所述第二终端采集的第二用户标识对应的语音数据。

在其中一个实施例中，所述目标辅助信息包括与业务知识相关的信息、与业务流程相关的信息、话术信息、需要向用户推荐的业务的信息以及对第一用户标识的服务质量进行质检的质检信息中的至少一种。

一种通讯辅助方法，所述方法包括：

在第一用户标识所在的第一终端与第二用户标识所在的第二终端进行通讯时，获取所述第一用户标识和所述第二用户标识之间的目标通讯内容；

对所述目标通讯内容进行特征提取，得到所述目标通讯内容的特征信息；

当根据所述目标通讯内容的特征信息确定所述目标通讯内容满足预设的触发条件时，获取所述目标通讯内容对应的所述目标辅助信息；

将所述目标辅助信息发送给所述第一用户标识所在的第一终端，并在所述第一终端上展示所述目标辅助信息。

在其中一个实施例中，所述方法还包括：

接收所述第一终端通过互联网协议发送的包含有所述第二用户标识的通讯请求数据包；其中，所述通讯请求数据包是所述第一终端通过目标应用程序发起的；

将所述互联网协议的通讯请求数据包转化为会话初始协议的通讯请求数据包，并将所述会话初始协议的通讯请求数据包发送给线路资源，以使所述线路资源通过公共电话交换网络将所述通讯请求数据包发送给所述第二终端。

在其中一个实施例中，所述方法还包括：

接收所述第一终端通过互联网协议发送的第一用户标识对应的第一语音数据；

将所述第一语音数据通过实时传输协议发送给线路资源，以使所述线路资源通过移动通信网络协议将所述第一语音数据传输给所述第二终端。

在其中一个实施例中，所述方法还包括：

接收线路资源发送的基于实时传输协议的第二语音数据；所述第二语音数据是所述第二终端采集的第二用户标识对应的语音数据；

将所述基于实时传输协议的第二语音数据转化为基于互联网协议的第二语音数据；

将所述基于互联网协议的第二语音数据发送给所述第一终端，并通过所述第一终端输出所述第二语音数据。

在其中一个实施例中，所述目标辅助信息包括与业务知识相关的信息、与业务流程相关的信息、话术信息、需要向用户推荐的业务的信息以及对第一用户标识的服务质量进行质检的质检信息中的至少一种。

一种通讯辅助装置，所述装置包括：

获取模块，用于在第一用户标识所在的第一终端与第二用户标识所在的第二终端进行通讯时，获取目标辅助信息，其中，所述目标辅助信息是对所述第一用户标识和所述第二用户标识之间的目标通讯内容进行检测产生的；

展示模块，用于展示所述目标辅助信息。

一种通讯辅助装置，所述装置包括：

通讯内容获取模块，用于在第一用户标识所在的第一终端与第二用户标识所在的第二终端进行通讯时，获取所述第一用户标识和所述第二用户标识之间的目标通讯内容；

特征提取模块，用于对所述目标通讯内容进行特征提取，得到所述目标通讯内容的特征信息；

辅助信息获取模块，用于当根据所述目标通讯内容的特征信息确定所述目标通讯内容满足预设的触发条件时，获取所述目标通讯内容对应的所述目标辅助信息；

发送模块，用于将所述目标辅助信息发送给所述第一用户标识所在的第一终端，并在所述第一终端上展示所述目标辅助信息。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法的步骤。

上述通讯辅助方法、装置、计算机设备和存储介质，在第一用户标识所在的第一终端与第二用户标识所在的第二终端进行通讯时，对第一用户标识和第二用户标识的目标通讯内容进行检测得到对应的目标辅助信息，第一终端获取到目标辅助信息后，展示目标辅助信息，使得第一终端在通讯的同时，能够展示目标辅助信息，不需要额外采用其他设备来输出目标辅助信息，节省了设备资源，降低了成本。

附图说明

图1为一个实施例中通讯辅助方法的应用环境图；

图2为一个实施例中通讯辅助方法的流程示意图；

图3为一个实施例中目标通讯内容特征提取步骤的流程示意图；

图4为另一个实施例中通讯辅助方法的流程示意图；

图5为一个实施例中通讯辅助装置的结构框图；

图6为另一个实施例中通讯辅助装置的结构框图；

图7为另一个实施例中通讯辅助装置的结构框图；

图8为一个实施例中通讯辅助装置的结构框图；

图9为另一个实施例中通讯辅助装置的结构框图；

图10为另一个实施例中通讯辅助装置的结构框图；

图11为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

通讯辅助属于坐席辅助的一种。坐席辅助一般应用于企业的外呼和呼入场景，会和呼叫中心(Call Center)结合。相关技术中，坐席的通讯能力一般由电话座机或手机实现。坐席的电话与呼叫中心或IVR(Interactive Voice Response，互动式语音应答)或语音网关或FreeSwith等进行通信。呼叫中心侧集成录音系统，在客户和坐席通讯的时候，采取镜像语音流的方式，把录音实时采集到坐席辅助后台，坐席辅助后台对录音进行分析，并将分析结果展示在坐席终端的浏览器或应用程序上。坐席终端通过是个人计算机或笔记本电脑或平板电脑等。这种方式，坐席使用的通讯系统和坐席辅助系统时两套系统，通过在后台打通，坐席使用了至少两个设备，成本较高。

本申请实施例提供了一种通讯辅助方法，可应用于图1所示的应用环境中。该应用环境包括第一终端110、语音后台120、录音服务130、坐席辅助后台140、线路资源150和第二终端160。

第一终端110上有目标应用程序，该目标应用程序可提供呼叫功能和目标辅助信息显示功能。该目标应用程序可为HTML(Hyper Text Markup Language，超文本标记语言)5应用程序、App应用程序或小程序等。小程序是一种不需要下载安装即可使用的应用程序。该目标应用程序提供了用户注册、功能配置、拨打电话、通讯过程中辅助信息展示等功能。第一终端110通常是由具有客服身份的用户使用。用户可以登录该目标应用程序注册用户账号，并做业务在线咨询，选择联系人进行拨打电话，并将根据目标通讯内容确定的目标辅助信息展示在目标应用程序的页面上。该目标应用程序可以为App应用程序或小程序或HTML5应用程序等。此外，第一终端110上的用户可通过目标应用程序与被服务者进行在线文本通讯。

语音后台120可用于提供协议适配、信令交互，通讯实时语音流编解码转换，实时语音流中转等功能。

录音服务130用于实时录制第一终端110上的第一用户和第二终端160上第二用户进行通讯的通讯内容，并将录制的通讯内容传输给坐席辅助后台140。

坐席辅助后台140用于对录制的通讯内容进行分析，根据分析结果确定对应的辅助信息，将辅助信息传输给第一终端110。

线路资源150可以是呼叫中心或IVR或语音网关或Free Swith等具备与运营商电话线路通信的系统。此外，线路资源150也可以为支持微信等视频语音通信服务的系统。

第二终端160可以是需要服务的用户所使用的终端。

可以理解的是，第一终端110和第二终端120均可为移动终端等。移动终端可为智能手机、平板电脑、个人数字助理、穿戴式设备等。语音后台120、录音服务130和坐席辅助后台140所提供的功能可集成在第一终端110上，也可以集成在一个服务器或云上，或者分别采用多个服务器来实现，或者，录音服务130和坐席辅助后台140所提供的功能集成在第一终端110上，语音后台120所提供的功能位于服务器上，或者，语音后台120和录音服务130所提供的功能集成在服务器上，坐席辅助后台140所提供的功能集成在第一终端110上，在此不做限定。

该应用环境实现电话呼叫功能的过程包括：第一用户通过第一用户标识登录第一终端110上的目标应用程序，第一终端110获取到第一用户标识从系统通讯录或目标应用程序自带的通讯录或历史记录中选择的联系人号码，将选择的联系人号码作为第二用户标识，发起通讯请求，该通讯请求携带有联系人号码，通过互联网协议(Http协议、Web Socket协议或私有化二进制协议等)发送给语音后台120；语音后台120把通讯请求转化为SIP(Session Initiation Protocol，会话初始协议)Trunk模式，发送给线路资源150；线路资源150通过PSTN(Public Switched Telephone Network，公共电话交换网络)网络，把通讯请求发送给联系人号码所在的第二终端160；第二终端160上的联系人号码对应的第二用户确认接听后，第二终端160将接听应答信号按照呼叫通道原路返回给第一终端110，即将接听应答信号通过线路资源150、语音后台120传输给第一终端110；第一终端110接收到联系人号码对应的第二用户反馈的接听应答信号后，与第二终端160建立通讯通信。

该应用环境实现语音通讯功能的过程包括：在第二用户确认应答与第一用户建立通讯通信后，第一终端110通过麦克风等音频输入设备采集到第一用户的第一语音数据，将第一语音数据通过互联网协议发送给语音后台120；语音后台120将基于互联网协议的第一语音数据转化为RTP(Real-time Transport Protocol，实时传输协议)协议的第一语音数据，并将基于RTP协议的第一语音数据发送给线路资源150；线路资源150将基于RTP协议的第一语音数据转化为基于移动通信网络协议的第一语音数据，并将基于移动通信网络协议的第一语音数据发送给第二终端160；第二终端160接收到第一语音数据后，通过扬声器等音频输出设备输出，让第二用户听到第一用户的声音。同样的，第二终端160通过麦克风等音频输入设备采集到第二用户的第二语音数据，将第二语音数据转化为基于移动通信网络协议的第二语音数据，再将基于移动通信网络协议的第二语音数据发送给线路资源150；线路资源150将基于移动通信网络协议的第二语音数据转化为基于RTP协议的第二语音数据，然后发送给语音后台120；语音后台120将基于RTP协议的第二语音数据转化为基于互联网协议的第二语音数据，并发送给第一终端110；第一终端110接收到基于互联网协议的第二语音数据后，通过扬声器等音频输出设备输出，让第一用户听到第二用户的声音。

该应用环境实现坐席辅助功能的过程包括：第一终端110上的第一用户和第二终端160上的第二用户进行语音通讯后，录音服务130实时录制经过语音后台的语音数据，作为目标通讯内容，该语音数据包括第一用户的第一语音数据和第二用户的第二语音数据，将目标通讯内容发送给坐席辅助后台140；坐席辅助后台140对目标通讯内容进行分析，确定符合预设的触发条件，则获取与目标通讯内容对应的目标辅助信息，并将目标辅助信息发送给第一终端110；第一终端110接收到目标辅助信息后，展示该目标辅助信息，位于第一终端110上的第一用户查看到目标辅助信息后，可以根据该目标辅助信息与第二用户进行辅助通讯。

本申请实施例所提供的通讯辅助方法，能够在第一用户标识所在的第一终端与第二用户标识所在的第二终端进行通讯时，对第一用户标识和第二用户标识的目标通讯内容进行检测得到对应的目标辅助信息，第一终端获取到目标辅助信息后，展示目标辅助信息，使得第一终端在通讯的同时，能够展示目标辅助信息，实现了将通讯功能和坐席辅助功能集成在一个设备上，不需要额外采用其他设备来输出目标辅助信息，节省了设备资源，降低了成本；该集成有通讯功能和坐席辅助功能可为移动终端，可以实现随时随地的进行通讯和坐席辅助，方便个人用户使用，让坐席辅助功能和通讯功能偏向于toC端的用户应用场景，相比于传统的偏向于toB端的企业应用场景，能够有效扩大应用范围。

在一个实施例中，如图2所示，提供了一种通讯辅助方法，以该方法应用于图1中的第一终端为例进行说明，包括以下步骤：

步骤202，在第一用户标识所在的第一终端与第二用户标识所在的第二终端进行通讯时，该第一终端获取目标辅助信息，其中，该目标辅助信息是对该第一用户标识和该第二用户标识之间的目标通讯内容进行检测产生的。

具体地，用户标识是用于表示用户身份唯一的字符串。该字符串可包括数字、字母或字符中的至少一种。第一用户标识是用于表示第一用户的。第一用户的身份可为坐席人员或客服人员等。第一用户标识可为第一用户在目标应用程序上注册的账户或第一用户的通信标识。通信标识可为电话号码、微信号或支付宝账号等。第二用户标识是用于表示第二用户的。第二用户的身份可为需要服务的用户，如消费者等。第二用户标识可为第二用户的通信标识。通信标识可为电话号码、微信号或支付宝账号等。

不同的通讯内容可对应不同的辅助信息。对目标通讯内容进行检测，发现符合预设的触发条件，则可以从数据库中获取与目标通讯内容对应的目标辅助信息。预设的触发条件可包括语速信息的触发条件、语义信息的触发条件、情感信息的触发条件、抢话信息的触发条件、关键词信息的触发条件等中至少一种。该目标辅助信息可包括与业务知识相关的信息、与业务流程相关的信息、话术信息、需要向用户推荐的业务的信息以及对第一用户标识的服务质量进行质检的质检信息中的至少一种。

步骤204，在第一终端上展示该目标辅助信息。

具体地，可以在第一终端以悬浮窗形式，或浏览器窗口，或者应用程序窗口等形式展示目标辅助信息。

本申请实施例所提供的通讯辅助方法，能够在第一用户标识所在的第一终端与第二用户标识所在的第二终端进行通讯时，对第一用户标识和第二用户标识的目标通讯内容进行检测得到对应的目标辅助信息，第一终端获取到目标辅助信息后，展示目标辅助信息，使得第一终端在通讯的同时，能够展示目标辅助信息，实现了将通讯功能和坐席辅助功能集成在一个设备上，不需要额外采用其他设备来输出目标辅助信息，节省了设备资源，降低了成本。

在一个实施例中，该通讯辅助方法还包括：该第一终端通过目标应用程序获取第一用户标识所选的第二用户标识，向该第二用户标识所在的第二终端发起通讯请求；该第一终端接收到该第二终端返回的应答信号，并根据该应答信号与该第二终端建立通讯连接。

具体地，目标应用程序可为HTTP5应用程序、App应用程序或小程序等。通过目标应用程序发起通讯请求，可以实现互联网与移动通信网络之间的语音通讯，可以方便在同一终端上实现通讯功能和坐席辅助功能。

在一个实施例中，该第一终端获取目标辅助信息，并在第一终端上展示该目标辅助信息，包括：该第一终端上的目标应用程序获取目标辅助信息，并在该目标应用程序对应的页面中展示该目标辅助信息。

具体地，目标应用程序可为HTTP5应用程序、App应用程序或小程序等。首先，第一用户启动位于第一终端上的目标应用程序，第一终端获取第一用户注册填写的个人资料信息，并提交包含个人资料信息的注册请求，个人资料信息中包括第一用户标识；接收到服务器返回的注册成功的信息，以及注册成功的第一用户标识。第一终端获取第一用户通过第一用户标识登录目标应用程序，然后通过目标应用程序发起通讯请求。目标应用程序获取到根据目标通讯内容所确定的目标辅助信息后，可以在目标应用程序对应的页面上配置相应的区域用于展示目标辅助信息，可以方便第一用户快速的查看到目标辅助信息，进而根据目标辅助信息对第二用户的咨询进行响应，或者调节自身的语速、情感等。该通讯请求可为文本会话请求，或者通话请求等。

在一个实施例中，在该获取目标辅助信息之前，该通讯辅助方法还包括：

步骤302，获取该第一用户标识和该第二用户标识之间的目标通讯内容。

录音服务130可以实时获取到第一用户标识和第二用户标识之间的目标通讯内容。在不同的场景，获取目标通讯内容的方式可能不同。在线下场景，可通过录音笔等录音设备获取语音流，作为目标通讯内容。在网页通讯过程中，可通过抓包方式获取网页传输的语音流，作为目标通讯内容。

步骤304，对该目标通讯内容进行特征提取，得到该目标通讯内容的特征信息。

当目标通讯内容为音频时，该目标通讯内容的特征信息可以包括语速信息、语义信息、情感信息、抢话信息和关键词信息中的至少一种。

当目标通讯内容为文字时，该目标通讯内容的特征信息可以包括语义信息、情感信息和关键词信息中的至少一种。

其中，该语速信息用于指示每个用户标识在通讯时的语速；该语义信息用于指示该目标通讯内容的语义；该情感信息用于指示每个用户标识在通讯时的情绪，该抢话信息用于指示每个用户标识在通讯时是否发生抢话的现象，该关键词信息用于指示该目标通讯内容是否包含预设的关键词。

步骤306，当根据该目标通讯内容的特征信息确定该目标通讯内容满足预设的触发条件时，获取该目标通讯内容对应的该目标辅助信息。

触发条件和目标辅助信息可以预先配置。例如信用卡分期费率的业务知识点，触发条件为“当客户提及意图询问信用卡分期利率”，配置的辅助信息为“分6期，月利率为1.2％；分12期，月利率为1.12％”；分18期，月利率为1.1％”。此外，触发条件可以支持多条件组合，如条件与条件之间可进行灵活的“与”“或”“非”的组合。条件内可使用“意图”、“语速”、“情感”、“关键词”、“上下文重复”、“静音超时”、“敏感词库”、“正则表达式”等算子。

该目标辅助信息可包括与业务知识相关的信息、与业务流程相关的信息、话术信息、需要向被服务者推荐的业务的信息以及对服务质量进行质检的质检信息中的至少一种。

其中，与业务知识相关的信息指的是能够辅助客服人员响应被服务者咨询的信息。与业务流程相关的信息指的是能够用于辅助客服人员为被服务者办理业务的信息。话术信息指的是能够辅助客服人员与被服务者进行交流的信息。对服务质量进行质检的质检信息是用于表征客服人员为被服务者所提供的服务的服务质量的信息，该质检信息可以用于指示客服人员在与被服务者通讯的过程中是否提及违禁词、是否出现情绪过激的现象、是否出现抢话的现象、是否出现语速过快的现象等。

本实施例中，通过获取第一用户标识和第二用户标识进行通讯时的目标通讯内容，并对目标通讯内容进行特征提取，得到目标通讯内容的特征信息，通过特征信息判断该目标通讯内容满足预设的触发条件，从而获取与目标通讯内容对应的目标辅助信息，可以自动的将第一用户标识为第二用户标识提供服务所需要的辅助信息展示在第一用户标识所在的终端，不需要第一用户标识对应的第一用户在与第二用户通讯的过程中，根据第二用户的需求查询数据库，提高了第一用户为第二用户提供服务的效率，即提高了客服人员为被服务者提供服务的效率。当目标辅助信息为质检信息，在客服人员与被服务者进行通讯过程中向客服人员对应的第一终端提供质检信息，可以实时对客服人员的服务质量进行质检，并实时提醒客服人员改进自己的服务质量，可以有效保证客服人员对被服务者进行服务的服务质量，同时，还不需要组织专门的质检人员进行质检，降低了人力成本。

在一个实施例中，对目标通讯内容进行特征提取，得到目标通讯内容的语义信息，包括：获取待进行特征提取的目标文件；将该目标文件输入至意图分类神经网络中，得到该意图分类神经网络输出的意图概率信息，该意图概率信息用于指示目标文本对应的意图为目标意图的概率；根据意图分类神经网络输出的意图概率信息确定目标文本对应的意图，并根据目标文本对应的意图生成目标通讯内容的语义信息。

当目标通讯内容为音频时，将目标通讯内容包括的每个用户标识的通讯音频数据转化为通讯文本数据，并将转化得到的通讯文本数据作为待进行特征提取的目标文本。当目标通讯内容为文本时，可以直接将目标通讯内容包括的每个用户标识的通讯文字作为待进行特征提取的目标文本。

目标意图可以包括多个业务意图和一个拒绝识别意图(也即是与业务无关的意图)，对于拒绝识别意图和每一个业务意图，意图分类神经网络输出的意图概率信息都可以指示目标文本对应的意图为该意图的概率。例如，目标意图可以包括业务意图A、业务意图B和拒绝识别意图C，意图分类神经网络输出的意图概率信息可以指示：目标文本对应的意图为业务意图A的概率、目标文本对应的意图为业务意图B的概率和目标文本对应的意图为拒绝识别意图C的概率。

坐席辅助后台140可以将意图概率信息指示的概率最高的意图确定为目标文本对应的意图，例如，由意图分类神经网络输出的意图概率信息可知，目标文本对应的意图为业务意图A的概率最高，目标文本对应的意图为拒绝识别意图C的概率最低，则服务器可以将业务意图A确定为目标文本对应的意图。

例如，若目标文本为“我去年办的那张信用卡为什么要收年费”，根据意图分类神经网络输出的意图概率信息可以确定目标文本对应的意图为“咨询信用卡年费”的业务意图，坐席辅助后台140可以根据该“咨询信用卡年费”的业务意图生成目标通讯内容的语义信息。

又例如，若目标文本为“在吗”，根据意图分类神经网络输出的意图概率信息可以确定目标文本对应的意图为拒绝识别意图，也即是与业务无关的意图。坐席辅助后台140可以根据拒绝识别意图生成目标通讯内容的语义信息。

在一个实施例中，对目标通讯内容进行特征提取，得到目标通讯内容的关键词信息，包括：获取待进行特征提取的目标文本；对目标文本进行分词，得到目标文本包括的多个词语；根据目标文本包括的多个词语查询关键词数据库，确定目标文本包括的多个词语是否存储于关键词数据库中，当存储于关键词数据库中，则生成目标通讯内容的关键词信息。

在一个实施例中，该目标通讯内容包括该第一用户标识和该第二用户标识中各用户标识的通讯音频数据；

该对该目标通讯内容进行特征提取，得到该目标通讯内容的特征信息，包括：将该第一用户标识和该第二用户标识中各用户标识的通讯音频数据输入至音频情感识别神经网络中，得到该音频情感识别神经网络输出的第一概率信息，该第一概率信息用于指示该各用户标识在通讯时的情绪为目标情绪的概率；根据该第一概率信息得到该情感信息。

音频情感识别神经网络可以利用每个用户标识的通讯音频的声学韵律特征对每个用户标识在通讯时的情绪进行识别，从而输出第一概率信息。其中，声学韵律特征可以包括音高、强度、音质、声谱和倒谱等，第一概率信息用于指示每个用户标识在通讯时的情绪为目标情绪的概率。

其中，目标情绪可以包括正常情绪、正向情绪和负向情绪，第一概率信息可以指示每个用户标识在通讯时的情绪为上述每一种情绪的概率，也即是，第一概率信息可以指示：每个用户标识在通讯时的情绪为正常情绪的概率、每个用户标识在通讯时的情绪为正向情绪的概率和每个用户标识在通讯时的情绪为负向情绪的概率。

在一个实施例中，根据该第一概率信息得到该情感信息，包括：将该第一用户标识和该第二用户标识中各用户标识的通讯音频数据转化为对应的通讯文本数据；将该各用户标识的通讯文本数据输入至文本情感识别神经网络中，得到该文本情感识别神经网络输出的第二概率信息，该第二概率信息用于指示该各用户标识在通讯时的情绪为该目标情绪的概率；根据该第一概率信息和该第二概率信息得到该情感信息。

第二概率信息可以指示：每个用户标识在通讯时的情绪为正常情绪的概率、每个用户标识在通讯时的情绪为正向情绪的概率和每个用户标识在通讯时的情绪为负向情绪的概率，在得到第二概率信息之后，坐席辅助后台可以根据第一概率信息和第二概率信息得到该情感信息。

在一个实施例中，该根据该第一概率信息和该第二概率信息得到该情感信息，包括：将该第一概率信息和该第二概率信息输入至综合情感识别神经网络中，得到该综合情感识别神经网络输出的第三概率信息，该第三概率信息用于指示各用户标识在通讯时的情绪为该目标情绪的概率；根据该第三概率信息得到该情感信息。

第三概率信息可以指示：每个用户标识在通讯时的情绪为正常情绪的概率、每个用户标识在通讯时的情绪为正向情绪的概率和每个用户标识在通讯时的情绪为负常情绪的概率。

利用第三概率信息生成情感信息的方式可以综合通讯音频所反映的每个用户标识在通讯时的情绪和通讯文本所反映的每个用户标识在通讯时的情绪，使得最终得到的情感信息所反映的每个用户标识在通讯时的情绪更为准确。

需要指出的是，在目标通讯内容为文本时，也即是，在目标通讯内容包括每个用户标识的通讯文本时，坐席辅助后台140可以不执行获取第一概率信息的过程，而仅执行获取第二概率信息的过程，并直接利用该第二概率信息生成该情感信息。

在一个实施例中，该目标通讯内容包括该第一用户标识和该第二用户标识中各用户标识的通讯音频数据；

该对该目标通讯内容进行特征提取，得到该目标通讯内容的特征信息，包括：获取该各用户标识的通讯音频数据所对应的录音时间段，得到至少两个录音时间段；获取该至少两个录音时间段中每两个录音时间段之间的重叠时间段；根据该每两个录音时间段之间的重叠时间段的时长是否大于时长阈值，生成该抢话信息。

其中，两个录音时间段之间的重叠时间段指的是该两个录音时间段都包含的时间段，例如，录音时间段a为9:00至9:02，录音时间段b为9:01至9:03，则录音时间段a和录音时间段b之间的重叠时间段是该录音时间段a和该录音时间段b都包含的时间段，也即是9:01至9:02。

两个录音时间段之间的重叠时间段的时长大于时长阈值说明两个人同时说话的时长较长，在这种情况下，两个人之间发生了抢话的现象，反之，两个录音时间段之间的重叠时间段的时长小于或等于时长阈值说明两个人同时说话的时长较短，在这种情况下，两个人员之间没有发生抢话现象。

在一个实施例中，该目该目标通讯内容包括该第一用户标识和该第二用户标识中各用户标识的通讯音频数据。

该对该目标通讯内容进行特征提取，得到该目标通讯内容的特征信息，包括：获取该各用户标识的通讯音频数据所对应的录音时长；将该各用户标识的通讯音频数据转化为通讯文本数据，并获取该各用户标识的通讯文本数据所包括的字数；获取该各用户标识的通讯文本数据所包括的字数与该各用户标识的通讯音频数据所对应的录音时长的比值，并根据该比值生成该语速信息。

其中，每个用户标识的通讯音频对应有一个录音时长，该录音时长用于指示用户标识对应的用户说话的时长。该语速信息用于表征人员在单位时间内所说的字数。

通过通讯文本数据中所包括的字数与录音时长的比值，可以快速的求取出语速信息，根据语速信息可以与语速阈值进行比较，当大于语速阈值，则表示语速过快，当小于或等于语速阈值，则表示语速合理。

在一个实施例中，上述通讯辅助方法所使用的应用环境中的坐席辅助后台可以根据不同的业务场景配置对应的触发条件及业务辅助信息，然后实时获取通讯双方的语音流，使用深度学习模块对语音流进行分析，获得分析结果，然后将分析结果与预设规则的触发条件进行匹配，将符合触发条件的业务辅助信息推送给第一终端，并在第一终端上展示，实现实时辅助功能。

该坐席辅助后台可包括业务规则配置模块、声学分析模块、情感分析模块、语义分析模块、ASR(Automatic Speech Recognition，语音识别)模块、规则引擎模块。其中，业务规则配置模块用于配置业务知识点、业务办理流程、营销时机、营销话术、智能提醒的触发条件和辅助信息。ASR模块负责将通讯音频数据转化为通讯文本数据。声学分析模块用于对通讯用户(包括第一用户和第二用户)进行声学特征分析，分析通讯用户的语速、是否抢话、语音情感(即第一概率信息)等。语义分析模块用于判断通讯文本数据的意图，是业务意图，还是拒绝意图等。情感分析模块用于对通讯文本数据进行情感分析，判断通讯文本数据是正向情绪、正常情绪，还是负向情绪，得到文本情感(即第二概率信息)，根据语音情感和文本情感得到目标通讯内容中的情感(即第三概率信息)。规则引擎模块用于根据目标通讯内容所提取的特征信息与预先配置的触发条件进行匹配，符合触发条件时，获取该触发条件对应的辅助信息。

坐席辅助后台工作的具体流程包括：

A1，预先分析业务场景和内容，为每个业务场景配置对应的触发条件和辅助信息，其中触发条件可支持意图、语速、抢话、语音情感、文本情感、文本内容等，可结合“与”“或”“非”组成算子条件组，配置成至少一条业务规则；

A2，第一用户标识所在的第一终端通过目标应用程序向第二用户标识所在的第二终端发起通讯请求；

A3，实时获取录音服务所获得的第一用户标识和第二用户标识之间的目标通讯内容；

A4，对目标通讯内容进行处理，得到第一用户标识对应的第一语音数据和第二用户标识对应的第二语音数据；

A5，通过流式ASR模块将第一用户标识对应的第一语音数据转化为第一通讯文本数据，以及通过流式ASR模块将第二用户标识对应的第二语音数据转化为第二通讯文本数据；

A6，通过声学分析模块分析第一语音数据和第一通讯文本数据，得到第一用户标识对应的语速、抢话、语音情感值；通过声学分析模块分析第二语音数据和第二通讯文本数据，得到第二用户标识对应的语速、抢话、语音情感值；

A7，通过语义分析模块分析第一通讯文本数据，得到第一用户标识对应的意图；通过语义分析模块分析第二通讯文本数据，得到第二用户标识对应的意图；

A8，通过情感分析模块对第一通讯文本数据进行分析，得到第一用户标识对应的文本情感值；通过情感分析模块对第二通讯文本数据进行分析，得到第二用户标识对应的文本情感值；

A9，根据第一用户标识对应的语速、抢话、语音情感值、文本情感值和第一通讯文本数据，以及第二用户标识对应的语速、抢话、语音情感值、文本情感值和第二通讯文本数据，与触发条件进行匹配，确定满足触发条件时，获取对应的目标辅助信息，并将该目标辅助信息展示在第一终端上。

上述通讯辅助方法，通过实时获取目标通讯内容，并进行分析，自动展示客户问题对应的知识点和当前业务的办理流程，不需要客服手动查询知识库，进而降低了用户的操作复杂度和客户等待时长，提升了客户的满意度；可以在认为适合进行营销的节点进行营销提醒，提供相应的符合当前营销场景的营销话术，让新手客服在缺乏经验且无需查询知识库的情况下，也能较好完成营销任务，提高坐席的营销开口率，提升了整体的营销转化率；实时对目标通话内容进行智能质检，在坐席一犯错时就给予提醒(例如提示违规词，语速过快，抢话，情绪激动等)，并在事后汇总统计，不需要质检人员事后进行抽检，降低了质检人员的工作压力。

可选地，上述通讯辅助方法还包括：将第一通讯文本数据和第二通讯文本数据分别进行敏感词库匹配，判断是否存在敏感词，当存在敏感词时，获取会话出现违规内容提醒的辅助信息，并输出会话出现违规内容提醒的辅助信息。敏感词库是预先配置的，如“赠送礼品”等。

可选地，上述通讯辅助方法还包括：判断目标通讯内容中是否存在上下文重复，若存在，则可以获取上下文重复的辅助信息，提醒第一用户标识交流的内容重复。上下文重复是指目标通讯内容中上下文内容相同。

可选地，上述通讯辅助方法还包括：判断目标通讯内容中是否存在静音超时情况，若存在，则获取业务营销辅助信息，并展示该业务营销辅助信息。静音超时是指在通话过程中无音频数据超过预设时长。

当在文本会话场景时，第一用户标识和第二用户标识通过文本会话就留，则可以直接获取文本内容进行分析，根据文本内容的分析结果匹配触发条件，确定对应的辅助信息。

在一个实施例中，该第一终端通过目标应用程序获取第一用户标识所选的第二用户标识，向该第二用户标识所在的第二终端发起通讯请求，包括：该第一终端通过该目标应用程序调用通讯录，并展示该通讯录中的联系人标识，获取该第一用户标识从该联系人标识中所选中的目标联系人标识，并将该目标联系人标识作为该第二用户标识，向该第二用户标识所在的第二终端发起通讯请求。

具体地，通讯录可包括系统通讯录或目标应用程序自带的通讯录中至少一种。系统通讯录是指第一终端上安装的操作系统带的通讯录。目标应用程序可以调用系统通讯录或自带的通讯录，在第一终端上展示通讯录中的联系人标识，该联系人标识可为联系人通信号码，如电话号码或手机号码或微信号等。第一终端可以检测到第一用户标识对应的第一用户从该联系人标识中所选中的目标联系人标识，将该目标联系人标识作为第二用户标识，然后向第二用户标识所在的第二终端发起通讯请求。通过在通讯录中获取第二用户标识，可以快速的得到第二用户标识，快速发起通讯请求。此外，可以理解的是，所选中的联系人标识可以为一个或两个以上。两个以上时可以实现多人通讯。

在一个实施例中，该第一终端通过目标应用程序获取第一用户标识所选的第二用户标识，向该第二用户标识所在的第二终端发起通讯请求，包括：

该第一终端通过该目标应用程序获取历史通讯记录，并展示该历史通讯记录中的联系人标识，并获取该第一用户标识从该历史通讯记录中的联系人标识中所选中的目标联系人标识，并将该目标联系人标识作为该第二用户标识，向该第二用户标识所在的第二终端发起通讯请求。

历史通讯记录里面记录了以往通讯的联系人标识、通讯开始时刻以及通讯时长、通讯次数等。从历史通讯记录中选取目标联系人，可以实现快速拨号。

进一步的，可以根据历史通讯记录中目标联系人标识对应的通讯时长和通讯次数中的至少一种确定该目标联系人标识对应的用户所属的类型，根据该类型获取对应的话术信息。例如，每次通讯时长小于第一预设时长，则表示该用户为待开发用户；通讯时长大于第二预设时长，则表示该用户为老用户，通讯时长大于第一预设时长，小于第二预设时长，则表示该用户为意向用户等，其中，第一预设时长和第二预设时长根据需要配置，第一预设时长小于第二预设时长。通讯次数大于第一预设次数，则表示该用户为待开发用户；通讯次数小于第二预设次数，则表示该用户为老用户；通讯次数大于第二预设次数且小于第一预设次数，则表示该用户为意向用户等。

通讯时长小于第一预设时长且通讯次数大于预设次数，则表示该用户为待开发用户。通讯时长大于第一预设时长且小于第二预设时长，通讯次数小于第一预设次数，且大于第二预设次数，则表示该用户为意向用户。通讯时长大于第二预设时长，通讯次数小于第二预设次数，则表示该用户为老用户等。

在一个实施例中，该向该第二用户标识所在的第二终端发起通讯请求，包括：

该第一终端将包含有该第二用户标识的通讯请求数据包通过互联网协议发送给服务器；其中，该服务器用于将该互联网协议的通讯请求数据包转化为会话初始协议的通讯请求数据包，并将该会话初始协议的通讯请求数据包发送给线路资源，以使该线路资源通过公共电话交换网络将该通讯请求数据包发送给该第二终端。

其中，互联网协议可为HTTP协议、Web Socket协议或私有化二进制协议等。服务器具有将该互联网协议的通讯请求数据包转化为会话初始协议的通讯请求数据包的功能。线路资源可为呼叫中心、IVR或语音网关或FreeSwith等具备与运营商电话线路通信的系统。此外，线路资源150也可以为支持微信等视频语音通信服务的系统。

本实施例中，第一终端通过互联网协议发起通讯请求数据包，并通过服务器将互联网协议的通讯请求数据包转化为会话初始协议的通讯请求数据包，发送给线路资源，再通过线路资源经过公共电话交换网络发送给第二终端，实现了互联网与公共电话交换网络的通讯数据的交互。

在一个实施例中，该通讯辅助方法还包括：该第一终端获取第一用户标识对应的第一语音数据，通过互联网协议发送给服务器；该服务器用于将该第一语音数据通过实时传输协议发送给线路资源，以使该线路资源通过移动通信网络协议将该第一语音数据传输给该第二终端。

第一语音数据是第一用户标识对应的第一用户的音频数据。第一终端通过麦克风等音频采集设备采集第一用户的第一语音数据。

本实施例中，将第一语音数据经过互联网协议、实时传输协议、移动通信网络协议传输给第二终端，实现了互联网和移动通信网络之间语音通讯的功能。

在一个实施例中，该通讯辅助方法还包括：该第一终端接收基于该服务器返回的互联网协议的第二语音数据，该基于互联网协议的第二语音数据是由该服务器将基于实时传输协议的第二语音数据进行转化得到的；该基于实时传输协议的第二语音数据是由线路资源将基于移动通信网络协议的第二语音数据进行转化得到的；该第二语音数据是该第二终端采集的第二用户标识对应的语音数据。

第二语音数据是第二用户标识对应的第二用户的音频数据。第二终端通过麦克风等音频采集设备采集第二用户的第二语音数据。

本实施例中，第一终端接收第二终端发送的经过移动通信网络协议、实时传输协议和互联网协议传输的第二语音数据，实现了互联网和移动通信网络之间语音通讯的功能。

图4为另一个实施例中通讯辅助方法的流程图。如图4所示，一种通讯辅助方法，应用于服务器上，该方法包括：

步骤402，在第一用户标识所在的第一终端与第二用户标识所在的第二终端进行通讯时，获取该第一用户标识和该第二用户标识之间的目标通讯内容。

具体地，服务器上的录音服务130可以实时获取到第一用户标识和第二用户标识之间的目标通讯内容。

步骤404，对该目标通讯内容进行特征提取，得到该目标通讯内容的特征信息。

当目标通讯内容为音频时，该目标通讯内容的特征信息可以包括语速信息、语义信息、情感信息、抢话信息和关键词信息中的至少一种。

当目标通讯内容为文字时，该目标通讯内容的特征信息可以包括语义信息、情感信息和关键词信息中的至少一种。

其中，该语速信息用于指示每个用户标识在通讯时的语速；该语义信息用于指示该目标通讯内容的语义；该情感信息用于指示每个用户标识在通讯时的情绪，该抢话信息用于指示每个用户标识在通讯时是否发生抢话的现象，该关键词信息用于指示该目标通讯内容是否包含预设的关键词。

步骤406，当根据该目标通讯内容的特征信息确定该目标通讯内容满足预设的触发条件时，获取该目标通讯内容对应的该目标辅助信息。

触发条件可以预先配置，该触发条件可以包括正则表达式等。例如银行贷款利率这一目标辅助信息的触发条件可为“语义信息＝贷款分期还款利率”。

该目标辅助信息可包括与业务知识相关的信息、与业务流程相关的信息、话术信息、需要向被服务者推荐的业务的信息以及对服务质量进行质检的质检信息中的至少一种。

其中，与业务知识相关的信息指的是能够辅助客服人员响应被服务者咨询的信息。与业务流程相关的信息指的是能够用于辅助客服人员为被服务者办理业务的信息。话术信息指的是能够辅助客服人员与被服务者进行交流的信息。对服务质量进行质检的质检信息是用于表征客服人员为被服务者所提供的服务的服务质量的信息，该质检信息可以用于指示客服人员在与被服务者通讯的过程中是否提及违禁词、是否出现情绪过激的现象、是否出现抢话的现象、是否出现语速过快的现象等。

步骤408，将该目标辅助信息发送给该第一用户标识所在的第一终端，并在该第一终端上展示该目标辅助信息。

服务器可以将目标辅助信息发送给第一用户标识所在的第一终端，然后在第一终端上展示该目标辅助信息。

本实施例中，服务器通过获取第一用户标识和第二用户标识进行通讯时的目标通讯内容，并对目标通讯内容进行特征提取，得到目标通讯内容的特征信息，通过特征信息判断该目标通讯内容满足预设的触发条件，从而获取与目标通讯内容对应的目标辅助信息，可以自动的将第一用户标识为第二用户标识提供服务所需要的辅助信息发送给第一终端，并展示在第一用户标识所在的第一终端，不需要第一用户标识对应的第一用户在与第二用户通讯的过程中，根据第二用户的需求查询数据库，提高了第一用户为第二用户提供服务的效率，即提高了客服人员为被服务者提供服务的效率。当目标辅助信息为质检信息，在客服人员与被服务者进行通讯过程中向客服人员对应的第一终端提供质检信息，可以实时对客服人员的服务质量进行质检，并实时提醒客服人员改进自己的服务质量，可以有效保证客服人员对被服务者进行服务的服务质量，同时，还不需要组织专门的质检人员进行质检，降低了人力成本。

可以理解的是，对目标通讯内容进行特征提取，得到目标通讯内容的语义信息、关键词信息、情感信息、抢话信息、语速信息的具体过程可参照上述实施例中的描述。

在一个实施例中，该通讯辅助方法还包括：接收该第一终端通过互联网协议发送的包含有该第二用户标识的通讯请求数据包；其中，该通讯请求数据包是该第一终端通过目标应用程序发起的；将该互联网协议的通讯请求数据包转化为会话初始协议的通讯请求数据包，并将该会话初始协议的通讯请求数据包发送给线路资源，以使该线路资源通过公共电话交换网络将该通讯请求数据包发送给该第二终端。

在一个实施例中，该通讯辅助方法还包括：接收该第一终端通过互联网协议发送的第一用户标识对应的第一语音数据；将该第一语音数据通过实时传输协议发送给线路资源，以使该线路资源通过移动通信网络协议将该第一语音数据传输给该第二终端。

服务器可以接收第一终端通过互联网协议发送的第一用户标识对应的第一语音数据，然后将该第一语音数据通过实时传输协议发送给线路资源，实现互联网和移动通信网络之间语音通讯的功能。

在一个实施例中，该通讯辅助方法还包括：接收线路资源发送的基于实时传输协议的第二语音数据；该第二语音数据是该第二终端采集的第二用户标识对应的语音数据；将该基于实时传输协议的第二语音数据转化为基于互联网协议的第二语音数据；将该基于互联网协议的第二语音数据发送给该第一终端，并通过该第一终端输出该第二语音数据。

服务器可以接收线路资源发送的第二语音数据，并将第二语音数据发送给第一终端，实现互联网和移动通信网络之间语音通讯的功能。

应该理解的是，虽然图2至图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图5为一个实施例中通讯辅助装置的结构框图。如图5所示，一种通讯辅助装置，应用于第一终端，该装置包括获取模块510、展示模块520。其中：

获取模块510用于在第一用户标识所在的第一终端与第二用户标识所在的第二终端进行通讯时，获取目标辅助信息，其中，该目标辅助信息是对该第一用户标识和该第二用户标识之间的目标通讯内容进行检测产生的。

展示模块520用于展示该目标辅助信息。

在一个实施例中，如图6所示，该通讯辅助装置还包括：呼叫请求模块530和通讯建立模块540。

呼叫请求模块530用于通过目标应用程序获取第一用户标识所选的第二用户标识，向所述第二用户标识所在的第二终端发起通讯请求；

通讯建立模块540用于接收到所述第二终端返回的应答信号，并根据所述应答信号与所述第二终端建立通讯连接。

在一个实施例中，获取模块510还用于通过目标应用程序获取目标辅助信息；展示模块520还用于在该目标应用程序对应的页面中展示所述目标辅助信息。

如图7所示，该通讯辅助装置还包括：通讯内容获取模块550、特征提取模块560和辅助信息获取模块570。

通讯内容获取模块550用于获取该第一用户标识和该第二用户标识之间的目标通讯内容。

该目标通讯内容的特征信息包括语速信息、语义信息、情感信息、抢话信息和关键词信息中的至少一种；其中，所述语速信息用于指示每个用户标识在通讯时的语速；所述语义信息用于指示所述目标通讯内容的语义；所述情感信息用于指示每个用户标识在通讯时的情绪，所述抢话信息用于指示每个用户标识在通讯时是否发生抢话的现象，所述关键词信息用于指示所述目标通讯内容是否包含预设的关键词。

特征提取模块560用于对该目标通讯内容进行特征提取，得到该目标通讯内容的特征信息。

辅助信息获取模块570用于当根据该目标通讯内容的特征信息确定该目标通讯内容满足预设的触发条件时，获取该目标通讯内容对应的该目标辅助信息。

在一个实施例中，所述目标通讯内容包括所述第一用户标识和所述第二用户标识中各用户标识的通讯音频数据；

特征提取模块560还用于将所述第一用户标识和所述第二用户标识中各用户标识的通讯音频数据输入至音频情感识别神经网络中，得到所述音频情感识别神经网络输出的第一概率信息，所述第一概率信息用于指示所述各用户标识在通讯时的情绪为目标情绪的概率；以及根据所述第一概率信息得到所述情感信息。

在一个实施例中，特征提取模块560还用于将所述第一用户标识和所述第二用户标识中各用户标识的通讯音频数据转化为对应的通讯文本数据；将所述各用户标识的通讯文本数据输入至文本情感识别神经网络中，得到所述文本情感识别神经网络输出的第二概率信息，所述第二概率信息用于指示所述各用户标识在通讯时的情绪为所述目标情绪的概率；根据所述第一概率信息和所述第二概率信息得到所述情感信息。

在一个实施例中，特征提取模块560还用于将所述第一概率信息和所述第二概率信息输入至综合情感识别神经网络中，得到所述综合情感识别神经网络输出的第三概率信息，所述第三概率信息用于指示各用户标识在通讯时的情绪为所述目标情绪的概率；根据所述第三概率信息得到所述情感信息。

在一个实施例中，该目标通讯内容包括所述第一用户标识和所述第二用户标识中各用户标识的通讯音频数据；

特征提取模块560还用于获取所述各用户标识的通讯音频数据所对应的录音时间段，得到至少两个录音时间段；获取所述至少两个录音时间段中每两个录音时间段之间的重叠时间段；根据所述每两个录音时间段之间的重叠时间段的时长是否大于时长阈值，生成所述抢话信息。

在一个实施例中，目所述目标通讯内容包括所述第一用户标识和所述第二用户标识中各用户标识的通讯音频数据；

特征提取模块560还用于获取所述各用户标识的通讯音频数据所对应的录音时长；将所述各用户标识的通讯音频数据转化为通讯文本数据，并获取所述各用户标识的通讯文本数据所包括的字数；获取所述各用户标识的通讯文本数据所包括的字数与所述各用户标识的通讯音频数据所对应的录音时长的比值，并根据所述比值生成所述语速信息。

在一个实施例中，呼叫请求模块530还用于通过所述目标应用程序调用通讯录，并展示所述通讯录中的联系人标识，获取所述第一用户标识从所述联系人标识中所选中的目标联系人标识，并将所述目标联系人标识作为所述第二用户标识，向所述第二用户标识所在的第二终端发起通讯请求。

在一个实施例中，呼叫请求模块530还用于通过所述目标应用程序获取历史通讯记录，并展示所述历史通讯记录中的联系人标识，并获取所述第一用户标识从所述历史通讯记录中的联系人标识中所选中的目标联系人标识，并将所述目标联系人标识作为所述第二用户标识，向所述第二用户标识所在的第二终端发起通讯请求。

在一个实施例中，呼叫请求模块530还用于将包含有所述第二用户标识的通讯请求数据包通过互联网协议发送给服务器；其中，所述服务器用于将所述互联网协议的通讯请求数据包转化为会话初始协议的通讯请求数据包，并将所述会话初始协议的通讯请求数据包发送给线路资源，以使所述线路资源通过公共电话交换网络将所述通讯请求数据包发送给所述第二终端。

在一个实施例中，如图8所示，该通讯辅助装置还包括采集模块580、通信模块590。

采集模块580用于获取第一用户标识对应的第一语音数据。

通信模块590用于通过互联网协议将第一语音数据发送给服务器；所述服务器用于将第一语音数据通过实时传输协议发送给线路资源，以使线路资源通过移动通信网络协议将所述第一语音数据传输给第二终端。

通信模块590还用于接收基于服务器返回的互联网协议的第二语音数据，所述基于互联网协议的第二语音数据是由所述服务器将基于实时传输协议的第二语音数据进行转化得到的；所述基于实时传输协议的第二语音数据是由线路资源将基于移动通信网络协议的第二语音数据进行转化得到的；该第二语音数据是该第二终端采集的第二用户标识对应的语音数据。

图9为另一个实施例中通讯辅助装置的结构框图。如图9所示，一种通讯辅助装置，该装置包括：通讯内容获取模块550、特征提取模块560、辅助信息获取模块570和通讯模块910。

通讯内容获取模块550用于在第一用户标识所在的第一终端与第二用户标识所在的第二终端进行通讯时，获取该第一用户标识和该第二用户标识之间的目标通讯内容；

特征提取模块560用于对该目标通讯内容进行特征提取，得到该目标通讯内容的特征信息。

辅助信息获取模块570用于当根据该目标通讯内容的特征信息确定该目标通讯内容满足预设的触发条件时，获取该目标通讯内容对应的该目标辅助信息。

通讯模块910用于将该目标辅助信息发送给该第一用户标识所在的第一终端，并在该第一终端上展示该目标辅助信息。

在一个实施例中，如图10所示，该通讯辅助装置还包括转化模块920。通讯模块910还用于接收所述第一终端通过互联网协议发送的包含有所述第二用户标识的通讯请求数据包；其中，所述通讯请求数据包是所述第一终端通过目标应用程序发起的。

转化模块920用于将所述互联网协议的通讯请求数据包转化为会话初始协议的通讯请求数据包。

通讯模块910还用于将该会话初始协议的通讯请求数据包发送给线路资源，以使该线路资源通过公共电话交换网络将所述通讯请求数据包发送给该第二终端。

关于通讯辅助装置的具体限定可以参见上文中对于通讯辅助方法的限定，在此不再赘述。上述通讯辅助装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端或服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种通讯辅助方法。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现通讯辅助方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现通讯辅助方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上该实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (25)

1.一种通讯辅助方法，所述方法包括：

在第一用户标识所在的第一终端与第二用户标识所在的第二终端进行通讯时，所述第一终端获取目标辅助信息，并在所述第一终端上展示所述目标辅助信息；其中，所述目标辅助信息是对所述第一用户标识和所述第二用户标识之间的目标通讯内容进行检测产生的。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述第一终端通过目标应用程序获取第一用户标识所选的第二用户标识，向所述第二用户标识所在的第二终端发起通讯请求；

所述第一终端接收到所述第二终端返回的应答信号，并根据所述应答信号与所述第二终端建立通讯连接。

3.根据权利要求2所述的方法，其特征在于，所述第一终端获取目标辅助信息，并在所述第一终端上展示所述目标辅助信息，包括：

所述第一终端上的目标应用程序获取目标辅助信息，并在所述目标应用程序对应的页面中展示所述目标辅助信息。

4.根据权利要求1所述的方法，其特征在于，在所述获取目标辅助信息之前，所述方法还包括：

获取所述第一用户标识和所述第二用户标识之间的目标通讯内容；

对所述目标通讯内容进行特征提取，得到所述目标通讯内容的特征信息；

当根据所述目标通讯内容的特征信息确定所述目标通讯内容满足预设的触发条件时，获取所述目标通讯内容对应的所述目标辅助信息。

5.根据权利要求4所述的方法，其特征在于，所述目标通讯内容的特征信息包括语速信息、语义信息、情感信息、抢话信息和关键词信息中的至少一种；

其中，所述语速信息用于指示每个用户标识在通讯时的语速；所述语义信息用于指示所述目标通讯内容的语义；所述情感信息用于指示每个用户标识在通讯时的情绪，所述抢话信息用于指示每个用户标识在通讯时是否发生抢话的现象，所述关键词信息用于指示所述目标通讯内容是否包含预设的关键词。

6.根据权利要求5所述的方法，其特征在于，所述目标通讯内容包括所述第一用户标识和所述第二用户标识中各用户标识的通讯音频数据；

所述对所述目标通讯内容进行特征提取，得到所述目标通讯内容的特征信息，包括：

将所述第一用户标识和所述第二用户标识中各用户标识的通讯音频数据输入至音频情感识别神经网络中，得到所述音频情感识别神经网络输出的第一概率信息，所述第一概率信息用于指示所述各用户标识在通讯时的情绪为目标情绪的概率；

根据所述第一概率信息得到所述情感信息。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一概率信息得到所述情感信息，包括：

将所述第一用户标识和所述第二用户标识中各用户标识的通讯音频数据转化为对应的通讯文本数据；

将所述各用户标识的通讯文本数据输入至文本情感识别神经网络中，得到所述文本情感识别神经网络输出的第二概率信息，所述第二概率信息用于指示所述各用户标识在通讯时的情绪为所述目标情绪的概率；

根据所述第一概率信息和所述第二概率信息得到所述情感信息。

8.根据权利要求7所述的方法，其特征在于，所述根据所述第一概率信息和所述第二概率信息得到所述情感信息，包括：

将所述第一概率信息和所述第二概率信息输入至综合情感识别神经网络中，得到所述综合情感识别神经网络输出的第三概率信息，所述第三概率信息用于指示各用户标识在通讯时的情绪为所述目标情绪的概率；

根据所述第三概率信息得到所述情感信息。

9.根据权利要求5所述的方法，其特征在于，所述目所述目标通讯内容包括所述第一用户标识和所述第二用户标识中各用户标识的通讯音频数据；

所述对所述目标通讯内容进行特征提取，得到所述目标通讯内容的特征信息，包括：

获取所述各用户标识的通讯音频数据所对应的录音时间段，得到至少两个录音时间段；

获取所述至少两个录音时间段中每两个录音时间段之间的重叠时间段；

根据所述每两个录音时间段之间的重叠时间段的时长是否大于时长阈值，生成所述抢话信息。

10.根据权利要求5所述的方法，其特征在于，所述目所述目标通讯内容包括所述第一用户标识和所述第二用户标识中各用户标识的通讯音频数据；

所述对所述目标通讯内容进行特征提取，得到所述目标通讯内容的特征信息，包括：

获取所述各用户标识的通讯音频数据所对应的录音时长；

将所述各用户标识的通讯音频数据转化为通讯文本数据，并获取所述各用户标识的通讯文本数据所包括的字数；

获取所述各用户标识的通讯文本数据所包括的字数与所述各用户标识的通讯音频数据所对应的录音时长的比值，并根据所述比值生成所述语速信息。

11.根据权利要求2所述的方法，其特征在于，所述第一终端通过目标应用程序获取第一用户标识所选的第二用户标识，向所述第二用户标识所在的第二终端发起通讯请求，包括：

所述第一终端通过所述目标应用程序调用通讯录，并展示所述通讯录中的联系人标识，获取所述第一用户标识从所述联系人标识中所选中的目标联系人标识，并将所述目标联系人标识作为所述第二用户标识，向所述第二用户标识所在的第二终端发起通讯请求。

12.根据权利要求2所述的方法，其特征在于，所述第一终端通过目标应用程序获取第一用户标识所选的第二用户标识，向所述第二用户标识所在的第二终端发起通讯请求，包括：

所述第一终端通过所述目标应用程序获取历史通讯记录，并展示所述历史通讯记录中的联系人标识，并获取所述第一用户标识从所述历史通讯记录中的联系人标识中所选中的目标联系人标识，并将所述目标联系人标识作为所述第二用户标识，向所述第二用户标识所在的第二终端发起通讯请求。

13.根据权利要求2至12中任一项所述的方法，其特征在于，所述向所述第二用户标识所在的第二终端发起通讯请求，包括：

所述第一终端将包含有所述第二用户标识的通讯请求数据包通过互联网协议发送给服务器；其中，所述服务器用于将所述互联网协议的通讯请求数据包转化为会话初始协议的通讯请求数据包，并将所述会话初始协议的通讯请求数据包发送给线路资源，以使所述线路资源通过公共电话交换网络将所述通讯请求数据包发送给所述第二终端。

14.根据权利要求2所述的方法，其特征在于，所述方法还包括：

所述第一终端获取第一用户标识对应的第一语音数据，通过互联网协议发送给服务器；所述服务器用于将所述第一语音数据通过实时传输协议发送给线路资源，以使所述线路资源通过移动通信网络协议将所述第一语音数据传输给所述第二终端。

15.根据权利要求14所述的方法，其特征在于，所述方法还包括：

所述第一终端接收基于所述服务器返回的互联网协议的第二语音数据，所述基于互联网协议的第二语音数据是由所述服务器将基于实时传输协议的第二语音数据进行转化得到的；所述基于实时传输协议的第二语音数据是由线路资源将基于移动通信网络协议的第二语音数据进行转化得到的；所述第二语音数据是所述第二终端采集的第二用户标识对应的语音数据。

16.根据权利要求1所述的方法，其特征在于，所述目标辅助信息包括与业务知识相关的信息、与业务流程相关的信息、话术信息、需要向被服务者推荐的业务的信息以及对服务质量进行质检的质检信息中的至少一种。

17.一种通讯辅助方法，其特征在于，所述方法包括：

在第一用户标识所在的第一终端与第二用户标识所在的第二终端进行通讯时，获取所述第一用户标识和所述第二用户标识之间的目标通讯内容；

对所述目标通讯内容进行特征提取，得到所述目标通讯内容的特征信息；

当根据所述目标通讯内容的特征信息确定所述目标通讯内容满足预设的触发条件时，获取所述目标通讯内容对应的所述目标辅助信息；

将所述目标辅助信息发送给所述第一用户标识所在的第一终端，并在所述第一终端上展示所述目标辅助信息。

18.根据权利要求17所述的方法，其特征在于，所述方法还包括：

接收所述第一终端通过互联网协议发送的包含有所述第二用户标识的通讯请求数据包；其中，所述通讯请求数据包是所述第一终端通过目标应用程序发起的；

将所述互联网协议的通讯请求数据包转化为会话初始协议的通讯请求数据包，并将所述会话初始协议的通讯请求数据包发送给线路资源，以使所述线路资源通过公共电话交换网络将所述通讯请求数据包发送给所述第二终端。

19.根据权利要求17所述的方法，其特征在于，所述方法还包括：

接收所述第一终端通过互联网协议发送的第一用户标识对应的第一语音数据；

将所述第一语音数据通过实时传输协议发送给线路资源，以使所述线路资源通过移动通信网络协议将所述第一语音数据传输给所述第二终端。

20.根据权利要求17所述的方法，其特征在于，所述方法还包括：

接收线路资源发送的基于实时传输协议的第二语音数据；所述第二语音数据是所述第二终端采集的第二用户标识对应的语音数据；

将所述基于实时传输协议的第二语音数据转化为基于互联网协议的第二语音数据；

将所述基于互联网协议的第二语音数据发送给所述第一终端，并通过所述第一终端输出所述第二语音数据。

21.根据权利要求17所述的方法，其特征在于，所述目标辅助信息包括与业务知识相关的信息、与业务流程相关的信息、话术信息、需要向被服务者推荐的业务的信息以及对的服务质量进行质检的质检信息中的至少一种。

22.一种通讯辅助装置，其特征在于，所述装置包括：

获取模块，用于在第一用户标识所在的第一终端与第二用户标识所在的第二终端进行通讯时，获取目标辅助信息，其中，所述目标辅助信息是对所述第一用户标识和所述第二用户标识之间的目标通讯内容进行检测产生的；

展示模块，用于展示所述目标辅助信息。

23.一种通讯辅助装置，其特征在于，所述装置包括：

通讯内容获取模块，用于在第一用户标识所在的第一终端与第二用户标识所在的第二终端进行通讯时，获取所述第一用户标识和所述第二用户标识之间的目标通讯内容；

特征提取模块，用于对所述目标通讯内容进行特征提取，得到所述目标通讯内容的特征信息；

辅助信息获取模块，用于当根据所述目标通讯内容的特征信息确定所述目标通讯内容满足预设的触发条件时，获取所述目标通讯内容对应的所述目标辅助信息；

通讯模块，用于将所述目标辅助信息发送给所述第一用户标识所在的第一终端，并在所述第一终端上展示所述目标辅助信息。

24.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至16，或权利要求17至21中任一项所述方法的步骤。

25.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至16，或权利要求17至21中任一项所述的方法的步骤。

Images