CN112053597B - 人工坐席培训考核方法及系统 - Google Patents

Abstract

本发明公开了一种人工坐席培训考核系统，包括呼入呼出装置、试题库服务器、任务管理器、任务配置器、语音机器人、问答分析器、报表统计装置；在该系统中实现培训、考核，从试题库服务器中获取试题，利用获取的试题构建生成试卷，根据试卷配置任务，任务执行完成后对人工坐席的应答内容进行打分评价。此外，本发明还公开了一种人工坐席培训考核方法。本发明利用语音机器人模拟客户与人工坐席进行语音交互，切实提高人工坐席的实战能力，提升人工坐席在工作场景下的知识储备和灵活应对能力；本发明可大规模开展人工坐席培训、考核，并且可根据系统分析反馈的重点问题实施更有针对性的培训、考核，效率高、成本低。

Description

人工坐席培训考核方法及系统

技术领域

本发明涉及技术领域，特别涉及一种人工坐席培训考核方法及人工坐席培训考核系统。

背景技术

现有技术中，电话客服系统通常采用大量人工坐席来接听客户呼入电话，或者由人工坐席进行电话外呼。而在人工坐席正式上线进行客服工作之前，需要对其进行培训和考核，考核通过才能上线工作。

然而，发明人经研究发现，现有技术中人工坐席培训通常采用文本素材、PPT讲解等方式进行，对人工坐席来说仅仅起到了初步了解作用，而缺乏很多实践机会，无法在短时间内快速提升人工坐席的客服技能水平；而采用业务组长一对一进行对练的培训方式，虽然能够使得每个人工坐席得到针对性的技能指导，但是每个坐席小组通常会有十个到二十个人工坐席，对每个人工坐席都做到针对性的技能指导往往要耗费业务组长大量时间和精力。而传统的人工坐席考核通常采用问卷方式，问卷只能考核坐席的部分工作能力例如记忆能力，而很难评价人工坐席临场实时应答的能力和水平。

随着人工智能技术的发展，智能对话机器人已经能够完成相对简单的客服对话，从而替代人工坐席的部分工作；同时，智能对话机器人也能够作为客户角色与人工坐席进行语音交互，完成人工坐席的在线培训和考核。

由此可见，现有技术中人工坐席上线培训和考核具有极大的局限性，为了提高效率，节省人力物力，基于人工智能的人工坐席培训和考核方式势在必行。

发明内容

基于此，为解决现有技术中的技术问题，特提出了一种人工坐席培训考核方法，包括：

步骤1，从试题库服务器中获取试题；

步骤2，根据培训或考核的业务场景及对应的业务流程设置培训模式或考核模式，利用获取的试题构建生成相应的培训试卷或考核试卷；

步骤3，根据培训试卷或者考核试卷配置相应的培训任务或考核任务；

步骤4，配置完毕后启动相应的培训任务或考核任务，执行所述培训任务或考核任务；

步骤5，所述培训任务或考核任务执行完成后，对人工坐席的应答内容进行打分评价；

步骤6，完成打分评价后，统计培训任务或考核任务的执行情况及执行结果并生成培训结果报表或考核结果报表。

在一种实施例中，所述试题库服务器中存储有一个或多个试题库；所述试题库是多个试题的集合；不同的业务场景对应不同的试题库；根据培训或考核的业务场景从所述试题库服务器中选择对应的试题库，并从该试题库中选择一个或多个试题；每个试题设置有一个或多个标准话术或标准答案，对每个标准话术或标准答案定义其所包含的关键信息，每个标准话术或标准答案包含一个或多个关键信息，所述关键信息包括关键词、语义项。

在一种实施例中，构建生成的所述培训试卷或考核试卷包括试题、指导语、结束语；

其中，针对构建生成的培训试卷或考核试卷中的每个试题设置有对话逻辑信息，所述对话逻辑信息包括客户话术、坐席话术、对话分支及对话分支入参、提示话术、对话过渡话术、最大对话轮次、失败话术、培训要求或考核要求；

其中，培训要求或考核要求包括内容打分标准、韵律打分标准；所述内容打分标准的打分项包括关键词、语义项、文字匹配度、文字完整度；所述韵律打分标准的打分项包括语速、音量；

培训模式或考核模式包括对话场景模式、知识库模式；在对话场景模式中，根据当前业务场景的对话逻辑顺序组织试题并构建生成培训试卷或考核试卷；在知识库模式中，选择当前业务场景的试题构建成一个或多个提问列表，利用所述提问列表生成培训试卷或考核试卷；

在对话场景模式中，由对话分支入参驱动对应的对话分支，并根据人工坐席的应答内容选择对话分支中的客户话术进行回复。

在一种实施例中，任务配置器配置培训任务或考核任务，具体包括：

配置线路资源；配置语音机器人的音色、音量、音高、语速；配置语音识别模型、语义理解模型；配置任务类型；配置培训时间或考核时间；根据对话分支的难易程度或人工坐席的技能掌握情况配置对话分支入参；

其中，所述任务类型包括呼出任务、呼入任务；配置的任务类型为呼出任务时，所述任务配置器配置呼出时间、呼出名单及号码、重呼策略、调度策略；配置的任务类型为呼入任务时，所述任务配置器配置呼入号码。

在一种实施例中，执行培训任务或考核任务具体包括：

语音机器人通过呼入呼出装置对人工坐席发起通话，发送培训指令或考核指令至人工坐席，开始执行培训任务或考核任务；

人工坐席接收到培训指令或考核指令后进行摘机操作，语音机器人播报指导语提示人工坐席培训或考核的内容及要求，播报完毕后培训或考核开始，人工坐席根据业务流程与语音机器人进行对话；

语音机器人在对话过程中对人工坐席的应答内容进行语音识别、语义理解，结合语义理解结果按照对话逻辑顺序与人工坐席进行对话并接收人工坐席下一个应答内容；

语音机器人持续与人工坐席进行对话直至执行完成当前任务的业务流程并挂机；执行完成当前任务时，语音机器人播报结束语提示人工坐席任务结束；

其中，语音机器人播报的提示语、结束语、与人工坐席进行对话的话术采用语音合成得到的语音，或者采用人工录制的语音。

在一种实施例中，在执行培训任务时，选择配置的培训模式；在执行考核任务时，选择配置的考核模式；

在对话场景模式中，语音机器人在对话过程中对人工坐席的应答话术进行语音识别、语义理解；语音机器人模拟客户选择由对话分支入参驱动的对话分支中的客户话术回复人工坐席，结合语义理解结果按照对话分支的对话逻辑顺序与人工坐席进行对话并接收人工坐席下一个应答话术；语音机器人将人工坐席的应答内容发送至问答分析器；

在知识库模式中，语音机器人根据提问列表中的试题依次提问人工坐席，并接收人工坐席应答的答案，语音机器人对人工坐席应答的答案进行语音识别、语义理解；语音机器人将人工坐席针对当前试题的应答内容发送至问答分析器；

所述问答分析器分析判断人工坐席的应答内容是否应答正确；当问答分析器判断人工坐席应答正确时，语音机器人按照对话分支的对话逻辑顺序进入后续对话流程，或者进入提问列表中下一试题的对话流程；当问答分析器判断人工坐席应答错误时，语音机器人通过提示话术提示坐席重新应答或者补充应答，直至人工坐席应答正确或者达到最大对话轮次。

在一种实施例中，问答分析器对人工坐席的应答内容进行打分评价；

在对话场景模式中，问答分析器对人工坐席的应答话术进行打分评价；对话场景模式中用于打分评价的评价项包括内容评价、语速评价、静默评价、情绪评价；

在知识库模式中，问答分析器对提问列表中人工坐席应答每个试题的答案进行打分评价；知识库模式中用于打分评价的评价项包括内容评价、语速评价、静默评价、情绪评价；

对各个评价项的打分进行加权得到综合评分。

在一种实施例中，报表统计装置统计培训任务或考核任务的执行情况及执行结果并生成培训结果报表或考核结果报表，具体包括：

针对培训试卷或考核试卷中的每个试题，分别对参与培训或考核的人工坐席进行评价打分，统计所有参与培训或考核的人工坐席的试题平均分、标准差、错误率；

针对每个参与培训或考核的人工坐席，统计各个人工坐席应答试卷中所有试题的平均分，即统计各个人工坐席的试卷平均分；根据各个人工坐席的试卷平均分进行排名；

统计各个参与培训或考核的人工坐席当前培训或考核结果与之前培训或考核结果之间的差异度及提升度；

利用统计得到的试题平均分、标准差、错误率、试卷平均分、排名、差异度及提升度生成相应的培训结果报表或考核结果报表。

此外，为解决现有技术中的技术问题，特提出了一种人工坐席培训考核系统，包括呼入呼出装置、试题库服务器、任务管理器、任务配置器、语音机器人、问答分析器、报表统计装置；

其中，所述呼入呼出装置与所述语音机器人相连接；所述语音机器人通过所述呼入呼出装置向人工坐席发起通话；

其中，所述试题库服务器中存储有一个或多个试题库；所述试题库是多个试题的集合；不同的业务场景对应不同的试题库；

其中，所述任务管理器与所述试题库服务器、所述语音机器人相连接；所述任务管理器从试题库服务器中获取试题，根据培训或考核的业务场景及对应的业务流程设置培训模式或考核模式，利用获取的试题构建生成相应的培训试卷或考核试卷；

其中，所述任务配置器与所述任务管理器相连接；所述任务配置器用于根据培训试卷或者考核试卷配置相应的培训任务或考核任务；配置完毕后，所述任务管理器向所述语音机器人发送指令启动相应的培训任务或考核任务，所述语音机器人向人工坐席发起通话，执行所述培训任务或考核任务；

其中，所述语音机器人包含语音识别器、语义理解器、语音合成器；所述语音识别器识别人工坐席输入的语音并转换为文字；所述语义理解器用于理解人工坐席应答内容的语义；所述语音合成器将语音机器人与人工坐席对话交互的文字转化为语音并回复至人工坐席；语音机器人将人工坐席应答内容发送至问答分析器；

其中，所述问答分析器与所述语音机器人相连接；所述培训任务或考核任务执行完成后，所述问答分析器对其接收到的人工坐席应答内容进行打分评价，并将打分评价结果发送至所述报表统计装置；

其中，所述报表统计装置与所述问答分析器相连接；所述报表统计装置接收打分评价结果，并根据所述打分评价结果统计培训任务或考核任务的执行情况及执行结果，生成培训结果报表或考核结果报表。

在一种实施例中，所述任务配置器与所述呼入呼出装置相连接；所述任务配置器配置所述呼入呼出装置的线路资源，配置任务类型，配置培训时间或考核时间；

所述任务类型包括呼出任务、呼入任务；配置的任务类型为呼出任务时，所述任务配置器配置呼出时间、呼出名单及号码、重呼策略、调度策略；配置的任务类型为呼入任务时，所述任务配置器配置呼入号码；

其中，所述任务配置器与所述语音机器人相连接；所述任务配置器配置语音机器人中语音合成器的音色、音量、音高、语速；所述任务器根据业务场景选择对应业务领域的语音识别模型，并将所述语音识别模型配置于所述语音识别器中；所述任务配置器根据业务场景选择对应业务领域的语义理解模型，并将所述语义理解模型配置于所述语义理解器中；

在一种实施例中，根据培训或考核的业务场景从所述试题库服务器中选择对应的试题库，并从该试题库中选择一个或多个试题；每个试题设置有一个或多个标准话术或标准答案，对每个标准话术或标准答案定义其所包含的关键信息，每个标准话术或标准答案包含一个或多个关键信息，所述关键信息包括关键词、语义项；

在一种实施例中，构建生成的所述培训试卷或考核试卷包括试题、指导语、结束语；

其中，针对构建生成的培训试卷或考核试卷中的每个试题设置有对话逻辑信息，所述对话逻辑信息包括客户话术、坐席话术、对话分支及对话分支入参、提示话术、对话过渡话术、最大对话轮次、失败话术、培训要求或考核要求；

其中，培训要求或考核要求包括内容打分标准、韵律打分标准；所述内容打分标准的打分项包括关键词、语义项、文字匹配度、文字完整度；所述韵律打分标准的打分项包括语速、音量；

培训模式或考核模式包括对话场景模式、知识库模式；在对话场景模式中，根据当前业务场景的对话逻辑顺序组织试题并构建生成培训试卷或考核试卷；在知识库模式中，选择当前业务场景的试题构建成一个或多个提问列表，利用所述提问列表生成培训试卷或考核试卷；

在对话场景模式中，由对话分支入参驱动对应的对话分支，并根据人工坐席的应答内容选择对话分支中的客户话术进行回复。

在一种实施例中，所述任务配置器用于根据培训试卷或者考核试卷配置相应的培训任务或考核任务，具体包括：

配置线路资源；配置语音机器人的音色、音量、音高、语速；配置语音识别模型、语义理解模型；配置任务类型；配置培训时间或考核时间；根据对话分支的难易程度或人工坐席的技能掌握情况配置对话分支入参；

其中，所述任务类型包括呼出任务、呼入任务；配置的任务类型为呼出任务时，所述任务配置器配置呼出时间、呼出名单及号码、重呼策略、调度策略；配置的任务类型为呼入任务时，所述任务配置器配置呼入号码；

在一种实施例中，执行培训任务或考核任务，具体包括：

语音机器人通过呼入呼出装置对人工坐席发起通话，发送培训指令或考核指令至人工坐席，开始执行培训任务或考核任务；

人工坐席接收到培训指令或考核指令后进行摘机操作，语音机器人播报指导语提示人工坐席培训或考核的内容及要求，播报完毕后培训或考核开始，人工坐席根据业务流程与语音机器人进行对话；

语音机器人在对话过程中对人工坐席的应答内容进行语音识别、语义理解，结合语义理解结果按照对话逻辑顺序与人工坐席进行对话并接收人工坐席下一个应答内容；

语音机器人持续与人工坐席进行对话直至执行完成当前任务的业务流程并挂机；执行完成当前任务时，语音机器人播报结束语提示人工坐席任务结束；

其中，语音机器人播报的提示语、结束语、与人工坐席进行对话的话术采用语音合成得到的语音，或者采用人工录制的语音。

在一种实施例中，在执行培训任务时，选择配置的培训模式；在执行考核任务时，选择配置的考核模式；

在对话场景模式中，语音机器人在对话过程中对人工坐席的应答话术进行语音识别、语义理解；语音机器人模拟客户选择由对话分支入参驱动的对话分支中的客户话术回复人工坐席，结合语义理解结果按照对话分支的对话逻辑顺序与人工坐席进行对话并接收人工坐席下一个应答话术；语音机器人将人工坐席的应答内容发送至问答分析器；

在知识库模式中，语音机器人根据提问列表中的试题依次提问人工坐席，并接收人工坐席应答的答案，语音机器人对人工坐席应答的答案进行语音识别、语义理解；语音机器人将人工坐席针对当前试题的应答内容发送至问答分析器；

所述问答分析器分析判断人工坐席的应答内容是否应答正确；当问答分析器判断人工坐席应答正确时，语音机器人按照对话分支的对话逻辑顺序进入后续对话流程，或者进入提问列表中下一试题的对话流程；当问答分析器判断人工坐席应答错误时，语音机器人通过提示话术提示坐席重新应答或者补充应答，直至人工坐席应答正确或者达到最大对话轮次。

在一种实施例中，所述报表统计装置根据所述打分评价结果统计培训任务或考核任务的执行情况及执行结果，生成培训结果报表或考核结果报表，具体包括：

针对培训试卷或考核试卷中的每个试题，分别对参与培训或考核的人工坐席进行评价打分，统计所有参与培训或考核的人工坐席的试题平均分、标准差、错误率；

针对每个参与培训或考核的人工坐席，统计各个人工坐席应答试卷中所有试题的平均分，即统计各个人工坐席的试卷平均分；根据各个人工坐席的试卷平均分进行排名；

统计各个参与培训或考核的人工坐席当前培训或考核结果与之前培训或考核结果之间的差异度及提升度；

利用统计得到的试题平均分、标准差、错误率、试卷平均分、排名、差异度及提升度生成相应的培训结果报表或考核结果报表。

实施本发明实施例，将具有如下有益效果：

与传统的人工坐席培训及考核方式相比，本发明利用语音机器人模拟客户在呼入或者呼出时的应用场景，能够切实提高人工坐席实战能力，提升人工坐席在工作场景下的知识储备和灵活应对能力；采用本发明可开展大规模的人工坐席培训和考核，效率高、成本低；并且能够根据系统分析反馈的重点问题实施更有针对性的培训和考核。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为本发明中人工坐席培训考核方法的流程示意图；

图2为本发明中人工坐席培训考核系统的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开了一种人工坐席培训考核方法，包括：

步骤1，从试题库服务器中获取试题；

特别地，所述试题库服务器中存储有一个或多个试题库；所述试题库是多个试题的集合；

不同的业务场景对应不同的试题库；根据培训或考核的业务场景从所述试题库服务器中选择对应的试题库，并从该试题库中选择一个或多个试题；

例如，所述业务场景可以是催收业务场景、银行业务咨询场景等；

其中，每个试题设置有一个或多个标准话术或标准答案，对每个标准话术或标准答案定义其所包含的关键信息，所述关键信息包括关键词、语义项等；每个标准话术或标准答案包含一个或多个关键信息；当试题设置有多个标准话术或标准答案时，选择与其中一个标准话术或标准答案相匹配的应答进行打分评价；

步骤2，根据培训或考核的业务场景及对应的业务流程设置培训模式或考核模式，利用获取的试题构建生成相应的培训试卷或考核试卷；

根据培训或考核的业务场景及对应的业务流程将选择的试题构建生成为培训试卷或者考核试卷；

其中，构建生成的培训试卷或考核试卷包括试题、指导语、结束语；

特别地，针对当前人工坐席的技能掌握情况选择试题库中错误率高的试题来构建相应的培训试卷或考核试卷；

特别地，培训模式或考核模式包括对话场景模式、知识库模式；

其中，在对话场景模式中，根据当前业务场景的对话逻辑顺序组织试题并构建生成培训试卷或考核试卷；

特别地，在对话场景模式中，针对构建生成的培训试卷或考核试卷中的每个试题设置有对话逻辑信息，所述对话逻辑信息包括客户话术、坐席话术、对话分支及对话分支入参、提示话术、对话过渡话术、最大对话轮次、失败话术、培训要求或考核要求等；

其中，在知识库模式中，选择当前业务场景的试题构建成一个或多个提问列表，利用所述提问列表生成培训试卷或考核试卷；

特别地，在知识库模式中，针对构建生成的培训试卷或考核试卷中的每个试题设置有对话逻辑信息，所述对话逻辑信息包括坐席话术、提示话术、对话过渡话术、最大对话轮次、失败话术、培训要求或考核要求等；

其中，客户话术为语音机器人模拟客户与人工坐席对话的话术；

其中，坐席话术为期望人工坐席回答的标准话术或标准答案；

其中，在对话场景模式中，对话分支由语音机器人根据对话分支入参及人工坐席的应答内容进行选择，即所述对话分支由对话分支入参驱动，不同的对话分支入参对应驱动不同的对话分支；在配置培训任务或考核任务时可根据对话分支的难易程度或根据人工坐席的技能掌握情况个性化地配置对话分支入参，以达到培训人工坐席特定技能的目的；

其中，当人工坐席的应答内容与标准话术或标准答案之间存在差异时，语音机器人对人工坐席播报提示话术及标准话术或标准答案作为辅助；

其中，当人工坐席保持静默时，语音机器人播报对话过渡话术对人工坐席进行引导；

其中，最大对话轮次为允许人工坐席应答当前试题的最大错误次数；当人工坐席达到最大对话轮次后，语音机器人播报失败话术；

其中，培训要求或考核要求包括内容打分标准、韵律打分标准；所述内容打分标准的打分项包括关键词、语义项、文字匹配度、文字完整度等；所述韵律打分标准的打分项包括语速、音量等；

在对话场景模式中，由对话分支入参驱动对应的对话分支，并根据人工坐席的应答内容选择对话分支中的客户话术进行回复；而知识库模式并不需要对话分支入参驱动对话分支，知识库模式仅需按照提问列表中的试题顺序依次对人工坐席进行提问即可；

步骤3，根据培训试卷或者考核试卷配置相应的培训任务或考核任务；

特别地，任务配置器配置培训任务或考核任务，具体包括，配置线路资源；配置语音机器人的音色、音量、音高、语速；配置语音识别模型、语义理解模型；配置任务类型；配置培训时间或考核时间；配置对话分支入参；

在对话场景模式中，对话分支由对话分支入参驱动，不同的对话分支入参对应驱动不同的对话分支；在配置培训任务或考核任务时可根据对话分支的难易程度或根据人工坐席的技能掌握情况个性化地配置对话分支入参，以达到有针对性地培训人工坐席特定技能的目的；

其中，所述任务类型包括呼出任务、呼入任务；

特别地，配置的任务类型为呼出任务时，所述任务配置器配置呼出时间、呼出名单及号码、重呼策略、调度策略；配置的任务类型为呼入任务时，所述任务配置器配置呼入号码；

步骤4，培训任务或考核任务配置完毕后启动相应的培训任务或考核任务，执行培训任务或考核任务；

其中，执行培训任务或考核任务具体包括：

语音机器人通过呼入呼出装置对人工坐席发起通话，发送培训指令或考核指令至人工坐席，开始执行培训任务或考核任务；

人工坐席接收到培训指令或考核指令后进行摘机操作，语音机器人播报指导语提示人工坐席培训或考核的内容及要求，播报完毕后培训或考核开始，人工坐席根据业务流程与语音机器人进行对话；

特别地，语音机器人通过语音提示人工坐席培训或考核即将开始，播报指导语提示人工坐席培训或考核的内容及要求；例如，语音机器人在对话中提示：您现在是催收员角色，现在开始催收员培训（或考核）；

语音机器人在对话过程中对人工坐席的应答内容进行语音识别、语义理解，结合语义理解结果按照对话逻辑顺序与人工坐席进行对话并接收人工坐席下一个应答内容；

语音机器人持续与人工坐席进行对话直至执行完成当前任务的业务流程并挂机；执行完成当前任务时，语音机器人播报结束语提示人工坐席任务结束；

特别地，语音机器人播报的提示语、结束语或与人工坐席进行对话的话术可以采用语音合成得到的语音，或者采用人工录制的语音；

特别地，在执行培训任务时，选择配置的培训模式，所述培训模式包括对话场景模式、知识库模式；

在对话场景模式中，人工坐席收到培训指令后进行摘机操作，并根据业务流程与语音机器人进行对话；

其中，语音机器人通过语音提示人工坐席培训即将开始，并播报指导语提示人工坐席培训的内容及要求；例如，语音机器人在电话中提示：您现在是催收员角色，现在开始催收员培训；

语音机器人在对话中对人工坐席的应答话术进行语音识别、语义理解，语音机器人模拟客户选择由对话分支入参驱动的对话分支中的客户话术回复人工坐席，结合语义理解结果按照对话分支的对话逻辑顺序与人工坐席进行对话并接收人工坐席下一个应答话术；语音机器人将人工坐席的应答内容发送至问答分析器；

其中，语音机器人模拟客户选择客户话术回复人工坐席时，根据对话分支入参驱动的对话分支及人工坐席的应答内容选择对应对话分支的客户话术；

特别地，当人工坐席的应答内容与标准话术或标准答案之间存在差异时，语音机器人对人工坐席播报提示话术及标准话术或标准答案作为辅助；

特别地，当人工坐席保持静默时，语音机器人播报对话过渡话术对人工坐席进行引导；

语音机器人持续与人工坐席进行对话直至在配置的培训时间内执行完成当前任务的业务流程并挂机；执行完成当前培训任务时，语音机器人播报结束语提示人工坐席培训结束；

特别地，语音机器人播报的提示语、结束语、提示话术、对话过渡话术、回复人工坐席的客户话术可以采用语音合成得到的语音，或者采用人工录制的语音；

特别地，在对话场景模式中，对话分支由对话分支入参驱动，不同的对话分支入参对应驱动不同的对话分支；在配置培训任务时可根据对话分支的难易程度或根据人工坐席的掌握情况个性化地配置对话分支入参，以达到培训人工坐席特定技能的目的；

特别地，在知识库模式中，语音机器人通过呼入呼出装置对人工坐席发起通话，发送培训指令至人工坐席，开始执行培训任务；

语音机器人根据提问列表中的试题依次提问人工坐席，并接收人工坐席应答的答案，语音机器人对人工坐席应答的答案进行语音识别、语义理解；语音机器人将人工坐席针对当前试题的应答内容发送至问答分析器；

所述问答分析器分析判断人工坐席是否应答正确；当问答分析器判断人工坐席应答正确时，语音机器人进入提问列表中下一试题的对话流程；当问答分析器判断人工坐席应答错误时，语音机器人通过提示话术提示坐席重新应答或者补充应答，直至人工坐席应答正确或者达到最大对话轮次；

特别地，在执行考核任务时，选择配置的考核模式，所述考核模式包括对话场景模式、知识库模式；

在对话场景模式中，语音机器人通过呼入呼出装置对人工坐席发起通话，发送考核指令至人工坐席，开始执行考核任务；

人工坐席收到考核指令后进行摘机操作，语音机器人提示人工坐席考核即将开始，人工坐席根据业务流程与语音机器人进行对话；

其中，语音机器人通过语音提示人工坐席考核即将开始，并播报指导语提示人工坐席培训或考核的内容及要求；例如，语音机器人在对话中提示：您现在是催收员角色，现在开始催收员考核；

语音机器人在对话过程中对人工坐席的应答话术进行语音识别、语义理解，语音机器人模拟客户选择由对话分支入参驱动的对话分支中的客户话术回复给人工坐席，并接收人工坐席下一个应答话术；语音机器人将人工坐席应答内容发送至问答分析器；

特别地，当人工坐席保持静默时，语音机器人播报对话过渡话术对人工坐席进行引导；

语音机器人持续与人工坐席进行对话直至在配置的考核时间内执行完成当前任务的业务流程并挂机；执行完成当前考核任务时，语音机器人播报结束语提示人工坐席考核结束；

特别地，语音机器人播报的提示语、结束语、对话过渡话术、回复人工坐席的客户话术可以采用语音合成器进行机器合成得到的语音，或者采用人工录制的语音；

特别地，在对话场景模式中，对话分支由对话分支入参驱动，不同的对话分支入参对应驱动不同的对话分支；在配置考核任务时可根据对话分支的难易程度或根据人工坐席的技能掌握情况个性化地配置对话分支入参，以达到有针对性地考核人工坐席特定技能的目的；

特别地，在知识库模式中，语音机器人通过呼入呼出装置对人工坐席发起通话，发送考核指令至人工坐席，开始执行考核任务；

语音机器人根据提问列表中的试题依次提问人工坐席，并接收人工坐席应答的答案，语音机器人对人工坐席应答的答案进行语音识别、语义理解；语音机器人将人工坐席针对当前试题的应答内容发送至问答分析器；

所述问答分析器分析判断人工坐席的应答内容是否应答正确；当问答分析器判断人工坐席应答正确时，语音机器人按照对话分支的对话逻辑顺序进入后续对话流程，或者进入提问列表中下一试题的对话流程；当问答分析器判断人工坐席应答错误时，语音机器人通过提示话术提示坐席重新应答或者补充应答，直至人工坐席应答正确或者达到最大对话轮次；

步骤5，培训任务或考核任务执行完成后，对人工坐席的应答内容进行打分评价；完成打分评价后，统计当前任务的执行情况及执行结果并生成培训结果报表或考核结果报表；

特别地，在对话场景模式中，问答分析器对人工坐席的应答话术进行打分评价；对话场景模式中用于打分评价的评价项包括内容评价、语速评价、静默评价、情绪评价等；

在知识库模式中，问答分析器对提问列表中人工坐席应答每个试题的答案进行打分评价；知识库模式中用于打分评价的评价项包括内容评价、语速评价、静默评价、情绪评价等；

用于打分评价的评价项包括但不仅限于内容评价、语速评价、静默时长评价、情绪评价等；

在对话场景模式、知识库模式中用于打分评价的评价项皆包括内容评价部分和非内容评价部分，对话场景模式和知识库模式的区别在于对话场景模式由对话分支入参驱动后续的对话分支，并根据人工坐席的应答驱动回复的客户话术；

对各个评价项的打分进行加权得到综合评分；

各个评价项具体如下：

内容评价：内容评价是对人工坐席的应答内容中是否包含标准话术或标准答案中的关键信息进行打分评价；内容评价包括三种评价模式，包括关键信息匹配评价模式、逐字匹配评价模式和语义匹配评价模式；

其中，在关键信息匹配评价模式中，对人工坐席的应答内容中是否呈现了标准话术或标准答案所定义的关键信息进行打分评价；应答内容中呈现的关键信息越多则打分越高；特别地，采用关键词匹配算法实现所述关键信息匹配评价模式；

其中，在逐字匹配评价模式中，对人工坐席应答内容与标准话术或标准答案之间的文字差异度进行打分评价；应答内容与标准话术或标准答案之间的文字差异度越小则打分越高；其中，文字差异度包括插入错误、删除错误、替代错误；特别地，采用最小编辑距离算法实现所述逐字匹配评价模式；

其中，在语义匹配评价模式中，对人工坐席的应答内容中是否呈现了标准话术或标准答案所定义的语义项进行打分评价；应答内容中呈现的语义项越多则打分越高；特别地，采用语义理解算法实现所述语义匹配评价模式，所述语义理解算法包括基于统计建模的模式分类算法；

语速评价：语速评价通过统计人工坐席在单位时间所说的文字个数来对人工坐席语速进行打分评价；具体地，根据语音识别器识别输出的文字个数及对应的语音时长计算人工坐席的语速；

人工坐席语速过快会导致客户听不清楚，而语速过慢则会造成业务话术不熟练或情绪怠慢的感觉，客户体验差；

人工坐席语速与当前任务设定的标准语速范围的差距越小则打分越高；

静默评价：静默评价是对人工坐席与客户通话过程中静音时长的长短进行打分评价；静音时长越长则打分越低；

当人工坐席应答客户时存在的静音时长超过一定时间会导致客户体验下降；例如，在客服领域中静音时长通常不能超过2秒；

静默在对话中出现在不同位置会反映出不同的客服问题；静默出现在句首反映人工坐席响应慢；静默出现在居中位置反映人工坐席业务不熟练，给客户造成卡壳的感觉，如果多次出现会给客户造成磕磕绊绊的感觉；静默出现在句尾位置时，当客户侧长时间未响应人工坐席则表明人工坐席的话术有歧义或者内容不明确，而导致客户无法立即响应；

情绪评价：情绪评价是对人工坐席在应答中的情绪表现进行打分评价；情绪评价包括两个评价层面，即内容层面和信号层面；在内容层面采用匹配情绪相关关键词、或者通过统计分类获取文本情绪类型实现情绪评价；在信号层面通过对信号特征进行统计分类实现情绪评价；

综合评价：对各个评价项的打分进行加权得到综合评分；对参与培训或考核的人工坐席的综合评分进行排名，并对单个评价项打分低及综合评分低的人工坐席给予提示；

步骤6，完成打分评价后，统计当前任务的执行情况及执行结果并生成培训结果报表或考核结果报表；

特别地，报表统计装置统计任务执行情况及任务执行结果并生成培训结果报表或考核结果报表，具体包括：

针对培训试卷或考核试卷中的每个试题，分别对参与培训或考核的人工坐席进行评价打分，并统计所有参与培训或考核的人工坐席的试题平均分、标准差、错误率；

统计各个参与培训或考核的人工坐席应答试卷中所有试题的平均分，即统计各个人工坐席的试卷平均分；

针对所有参与培训或考核的人工坐席，根据试卷的平均分进行排名；

统计各个参与培训或考核的人工坐席当前培训或考核结果与之前培训或考核结果之间的差异度及提升度；

其中，差异度为针对人工坐席当前培训结果或考核结果与之前培训结果或考核结果之间的差异性统计，包括统计试题平均分、标准差、错误率、试卷平均分、排名的差异性；例如，试题平均分、试卷平均分分别增加或降低了多少分，标准差、错误率、排名分别增加或降低了多少；

进一步地，所述报表统计装置根据差异度统计提升度，即人工坐席当前培训或考核结果相比之前培训或考核结果的进步程度和进步内容；

利用统计得到的试题平均分、标准差、错误率、试卷平均分、排名、差异度及提升度生成相应的培训结果报表或考核结果报表；将所述培训结果报表或考核结果报表反馈至人工坐席；

针对所有参与培训或考核的人工坐席及所有试题分析人工坐席的掌握情况，根据试卷的平均分排名确定需要重点培训的人工坐席，根据试题的错误率确定需要重点指导的试题。

本发明公开了一种人工坐席培训考核系统，包括呼入呼出装置、试题库服务器、任务管理器、任务配置器、语音机器人、问答分析器、报表统计装置；

其中，所述呼入呼出装置用于执行呼入及呼出操作；所述呼入呼出装置与所述语音机器人相连接；所述语音机器人通过所述呼入呼出装置向人工坐席发起通话；

其中，所述试题库服务器中存储有一个或多个试题库；所述试题库是多个试题的集合；不同的业务场景对应不同的试题库；

每个试题设置有一个或多个标准答案，对每个标准答案定义其所包含的关键信息，每个标准答案包含一个或多个关键信息，所述关键信息包括关键词、语义项等；

其中，所述任务管理器与所述试题库服务器、所述语音机器人相连接；所述任务管理器从试题库服务器中获取试题，根据培训或考核的业务场景及对应的业务流程设置培训模式或考核模式，利用获取的试题构建生成相应的培训试卷或考核试卷；

其中，所述任务配置器与所述任务管理器相连接；所述任务配置器用于根据培训试卷或者考核试卷配置相应的培训任务或考核任务；

具体地，所述任务配置器配置呼入呼出装置的线路资源，配置语音机器人的音色、音量、音高、语速，配置语音识别模型、语义理解模型，配置任务类型，配置培训时间或考核时间；

特别地，所述任务配置器根据业务场景选择对应业务领域的语音识别模型并配置于所述语音识别器中，以获得更好的语音识别性能；

其中，所述任务类型包括呼出任务、呼入任务；配置的任务类型为呼出任务时，所述任务配置器配置呼出时间、呼出名单及号码、重呼策略、调度策略；配置的任务类型为呼入任务时，所述任务配置器配置呼入号码；

配置完毕后，所述任务管理器向所述语音机器人发送指令启动相应的培训任务或考核任务，所述语音机器人向人工坐席发起通话，执行所述培训任务或考核任务；

其中，所述语音机器人包含语音识别器、语义理解器、语音合成器；所述语音识别器识别用户输入的语音并转换为文字；所述语音合成器用于将语音机器人与人工坐席对话交互的文字转化为语音并回复至人工坐席；所述语义理解器用于理解人工坐席应答内容的语义；

语音机器人将人工坐席应答内容发送至问答分析器；

其中，所述问答分析器与所述语音机器人相连接；所述培训任务或考核任务执行完成后，所述问答分析器对其接收到的人工坐席应答内容进行打分评价；

所述问答分析器对人工坐席应答内容的文字匹配度、文字完整度、语速、静默、音量、情绪等进行打分评价；

其中，所述报表统计装置与所述问答分析器相连接；所述报表统计装置接收打分评价结果，并根据所述打分评价结果统计任务执行情况及任务执行结果，生成培训结果报表或考核结果报表；

具体地，针对培训试卷或考核试卷中的每个试题，分别对参与培训或考核的人工坐席进行评价打分，统计所有参与培训或考核的人工坐席的试题平均分、标准差、错误率；

针对每个参与培训或考核的人工坐席，统计各个人工坐席应答试卷中所有试题的平均分，即统计各个人工坐席的试卷平均分；根据各个人工坐席的试卷平均分进行排名；

统计各个参与培训或考核的人工坐席当前培训结果或考核结果与之前培训或考核结果之间的差异度及提升度；

其中，差异度为针对人工坐席当前培训结果或考核结果与之前培训结果或考核结果之间的差异性统计，包括统计试题平均分、标准差、错误率、试卷平均分、排名的差异性；例如，试题平均分、试卷平均分分别增加或降低了多少分，标准差、错误率、排名分别增加或降低了多少；

进一步地，所述报表统计装置根据差异度统计提升度，即人工坐席当前培训或考核结果相比之前培训或考核结果的进步程度和进步内容；

利用统计得到的试题平均分、标准差、错误率、试卷平均分、排名、差异度及提升度生成相应的培训结果报表或考核结果报表；所述报表统计装置将所述培训结果报表或考核结果报表反馈至人工坐席；

特别地，所述任务配置器与所述呼入呼出装置相连接；所述任务配置器配置所述呼入呼出装置的线路资源，配置任务类型，配置培训时间或考核时间；

所述任务类型包括呼出任务、呼入任务；配置的任务类型为呼出任务时，所述任务配置器配置呼出时间、呼出名单及号码、重呼策略；配置的任务类型为呼入任务时，所述任务配置器配置呼入号码；

其中，所述任务配置器与所述语音机器人相连接；所述任务配置器配置语音机器人中语音合成器的音色、音量、音高、语速；所述任务配置器根据业务场景选择对应业务领域的语音识别模型，并将所述语音识别模型配置于所述语音识别器中；所述任务配置器根据业务场景选择对应业务领域的语义理解模型，并将所述语义理解模型配置于所述语义理解器中。

实施本发明实施例，将具有如下有益效果：

本发明基于语音机器人设计并实现了一种人工坐席培训考核方法及系统，利用语音机器人作为客户角色与人工坐席进行语音交互；人工坐席根据语音机器人提出的问题进行对话，语音机器人对人工坐席的回答进行语音识别、语义理解，并与标准答案进行比对给出合理的打分评价；系统向人工坐席反馈该评价并提出相应的技能指导意见；人工坐席根据系统提示做出调整，以便在后续的考核中获得更好的成绩，尽快完成培训并通过考核达到上线水平，以更高的服务水平服务真实客户。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种人工坐席培训考核方法，其特征在于，包括：

步骤1，任务管理器从与其相连接的试题库服务器中获取试题；

步骤2，所述任务管理器根据培训或考核的业务场景及对应的业务流程设置培训模式或考核模式，利用获取的试题构建生成相应的培训试卷或考核试卷；

步骤3，与所述任务管理器相连接的任务配置器根据培训试卷或者考核试卷配置相应的培训任务或考核任务；

步骤4，配置完毕后，所述任务管理器向与其相连接的语音机器人发送指令启动相应的培训任务或考核任务，所述语音机器人通过与其相连接的呼入呼出装置向人工坐席发起通话，执行所述培训任务或考核任务；

其中，所述语音机器人包含语音识别器、语义理解器、语音合成器；所述语音识别器识别人工坐席输入的语音并转换为文字；所述语义理解器用于理解人工坐席应答内容的语义；所述语音合成器将语音机器人与人工坐席对话交互的文字转化为语音并回复至人工坐席；语音机器人将人工坐席应答内容发送至与其相连接的问答分析器；

步骤5，所述培训任务或考核任务执行完成后，问答分析器对其接收到的人工坐席应答内容进行打分评价，并将打分评价结果发送至与其相连接的报表统计装置；

步骤6，完成打分评价后，所述报表统计装置接收打分评价结果，并根据所述打分评价结果统计培训任务或考核任务的执行情况及执行结果，生成培训结果报表或考核结果报表；所述报表统计装置将所述培训结果报表或考核结果报表反馈至人工坐席；

其中，所述试题库服务器中存储有一个或多个试题库；所述试题库是多个试题的集合；不同的业务场景对应不同的试题库；根据培训或考核的业务场景从所述试题库服务器中选择对应的试题库，并从该试题库中选择一个或多个试题；每个试题设置有一个或多个标准话术或标准答案，对每个标准话术或标准答案定义其所包含的关键信息，每个标准话术或标准答案包含一个或多个关键信息，所述关键信息包括关键词、语义项；

其中，执行培训任务或考核任务，具体包括：

语音机器人通过呼入呼出装置对人工坐席发起通话，发送培训指令或考核指令至人工坐席，开始执行培训任务或考核任务；

人工坐席接收到培训指令或考核指令后进行摘机操作，语音机器人播报指导语提示人工坐席培训或考核的内容及要求，播报完毕后培训或考核开始，人工坐席根据业务流程与语音机器人进行对话；

语音机器人在对话过程中对人工坐席的应答内容进行语音识别、语义理解，结合语义理解结果按照对话逻辑顺序与人工坐席进行对话并接收人工坐席下一个应答内容；

语音机器人持续与人工坐席进行对话直至执行完成当前任务的业务流程并挂机；执行完成当前任务时，语音机器人播报结束语提示人工坐席任务结束；

其中，语音机器人播报的提示语、结束语、与人工坐席进行对话的话术采用语音合成得到的语音，或者采用人工录制的语音；其中，构建生成的所述培训试卷或考核试卷包括试题、指导语、结束语；

其中，针对构建生成的培训试卷或考核试卷中的每个试题设置有对话逻辑信息，所述对话逻辑信息包括客户话术、坐席话术、对话分支及对话分支入参、提示话术、对话过渡话术、最大对话轮次、失败话术、培训要求或考核要求；

其中，培训要求或考核要求包括内容打分标准、韵律打分标准；所述内容打分标准的打分项包括关键词、语义项、文字匹配度、文字完整度；所述韵律打分标准的打分项包括语速、音量；

培训模式或考核模式包括对话场景模式、知识库模式；在对话场景模式中，根据当前业务场景的对话逻辑顺序组织试题并构建生成培训试卷或考核试卷；在知识库模式中，选择当前业务场景的试题构建成一个或多个提问列表，利用所述提问列表生成培训试卷或考核试卷；

在对话场景模式中，由对话分支入参驱动对应的对话分支，并根据人工坐席的应答内容选择对话分支中的客户话术进行回复；

在执行培训任务时，选择配置的培训模式；在执行考核任务时，选择配置的考核模式；

在对话场景模式中，语音机器人在对话过程中对人工坐席的应答话术进行语音识别、语义理解；语音机器人模拟客户选择由对话分支入参驱动的对话分支中的客户话术回复人工坐席，结合语义理解结果按照对话分支的对话逻辑顺序与人工坐席进行对话并接收人工坐席下一个应答话术；语音机器人将人工坐席的应答内容发送至问答分析器；

在知识库模式中，语音机器人根据提问列表中的试题依次提问人工坐席，并接收人工坐席应答的答案，语音机器人对人工坐席应答的答案进行语音识别、语义理解；语音机器人将人工坐席针对当前试题的应答内容发送至问答分析器；

所述问答分析器分析判断人工坐席的应答内容是否应答正确；当问答分析器判断人工坐席应答正确时，语音机器人按照对话分支的对话逻辑顺序进入后续对话流程，或者进入提问列表中下一试题的对话流程；当问答分析器判断人工坐席应答错误时，语音机器人通过提示话术提示坐席重新应答或者补充应答，直至人工坐席应答正确或者达到最大对话轮次；

其中，问答分析器对人工坐席的应答内容进行打分评价；

在对话场景模式中，问答分析器对人工坐席的应答话术进行打分评价；对话场景模式中用于打分评价的评价项包括内容评价、语速评价、静默评价、情绪评价；

在知识库模式中，问答分析器对提问列表中人工坐席应答每个试题的答案进行打分评价；知识库模式中用于打分评价的评价项包括内容评价、语速评价、静默评价、情绪评价；

其中，内容评价是对人工坐席的应答内容中是否包含标准话术或标准答案中的关键内容或者关键信息进行打分评价；内容评价包括关键信息匹配评价模式、逐字匹配评价模式和语义匹配评价模式；

其中，在关键信息匹配评价模式中，对人工坐席的应答内容中是否呈现了标准话术或标准答案所定义的关键信息进行打分评价；应答内容中呈现的关键信息越多则打分越高；其中，采用关键词匹配算法实现所述关键信息匹配评价模式；

其中，在逐字匹配评价模式中，对人工坐席应答内容与标准话术或标准答案之间的文字差异度进行打分评价；应答内容与标准答案之间的内容文字差异度越小则打分越高；其中，文字差异包括插入错误、删除错误、替代错误；其中，采用最小编辑距离算法实现所述逐字匹配评价模式；

其中，在语义匹配评价模式中，对人工坐席的应答内容中是否呈现了标准话术或标准答案所定义的语义项进行打分评价；应答内容中呈现的语义项越多则打分越高；其中，采用语义理解算法实现所述语义匹配评价模式，所述语义理解算法包括基于统计建模的模式分类算法；

其中，语速评价通过统计人工坐席在单位时间所说的文字个数来对人工坐席语速进行打分评价；根据语音识别器识别输出的文字个数及对应的语音时长计算人工坐席的语速；人工坐席语速与当前任务设定的标准语速范围的差距越小则打分越高；

静默评价是对人工坐席与客户通话过程中静音时长的长短进行打分评价；静音时长越长则打分越低；

情绪评价是对人工坐席在应答中的情绪表现进行打分评价；情绪评价包括两个评价层面，即内容层面和信号层面；在内容层面采用匹配情绪相关关键词、或者通过统计分类获取文本情绪类型实现情绪评价；在信号层面通过对信号特征进行统计分类实现情绪评价；

对各个评价项的打分进行加权得到综合评分；对参与培训或考核的人工坐席的综合评分进行排名，并对单个评价项打分低及综合评分低的人工坐席给予提示；

针对所有参与培训或考核的人工坐席及所有试题分析人工坐席的掌握情况，根据试卷的平均分排名确定需要重点培训的人工坐席，根据试题的错误率确定需要重点指导的试题。

2.根据权利要求1所述的人工坐席培训考核方法，其特征在于，

其中，任务配置器配置培训任务或考核任务，具体包括：

所述任务配置器配置与其相连接的呼入呼出装置的线路资源，配置任务类型，配置培训时间或考核时间；

其中，所述任务类型包括呼出任务、呼入任务；配置的任务类型为呼出任务时，所述任务配置器配置呼出时间、呼出名单及号码、重呼策略、调度策略；配置的任务类型为呼入任务时，所述任务配置器配置呼入号码；

所述任务配置器配置与其相连接的语音机器人的音色、音量、音高、语速；所述任务配置器根据业务场景选择对应业务领域的语音识别模型，并将所述语音识别模型配置于所述语音识别器中；所述任务配置器根据业务场景选择对应业务领域的语义理解模型，并将所述语义理解模型配置于所述语义理解器中；根据对话分支的难易程度或人工坐席的技能掌握情况配置对话分支入参。

3.根据权利要求1所述的人工坐席培训考核方法，其特征在于，

其中，报表统计装置统计培训任务或考核任务的执行情况及执行结果并生成培训结果报表或考核结果报表，具体包括：

针对培训试卷或考核试卷中的每个试题，分别对参与培训或考核的人工坐席进行评价打分，统计所有参与培训或考核的人工坐席的试题平均分、标准差、错误率；

针对每个参与培训或考核的人工坐席，统计各个人工坐席应答试卷中所有试题的平均分，即统计各个人工坐席的试卷平均分；根据各个人工坐席的试卷平均分进行排名；

统计各个参与培训或考核的人工坐席当前培训或考核结果与之前培训或考核结果之间的差异度及提升度；

利用统计得到的试题平均分、标准差、错误率、试卷平均分、排名、差异度及提升度生成相应的培训结果报表或考核结果报表。

4.一种人工坐席培训考核系统，其特征在于，包括呼入呼出装置、试题库服务器、任务管理器、任务配置器、语音机器人、问答分析器、报表统计装置；

其中，所述呼入呼出装置与所述语音机器人相连接；所述语音机器人通过所述呼入呼出装置向人工坐席发起通话；

其中，所述试题库服务器中存储有一个或多个试题库；所述试题库是多个试题的集合；不同的业务场景对应不同的试题库；根据培训或考核的业务场景从所述试题库服务器中选择对应的试题库，并从该试题库中选择一个或多个试题；每个试题设置有一个或多个标准话术或标准答案，对每个标准话术或标准答案定义其所包含的关键信息，每个标准话术或标准答案包含一个或多个关键信息，所述关键信息包括关键词、语义项；

其中，所述任务管理器与所述试题库服务器、所述语音机器人相连接；所述任务管理器从试题库服务器中获取试题，根据培训或考核的业务场景及对应的业务流程设置培训模式或考核模式，利用获取的试题构建生成相应的培训试卷或考核试卷；

其中，所述任务配置器与所述任务管理器相连接；所述任务配置器用于根据培训试卷或者考核试卷配置相应的培训任务或考核任务；配置完毕后，所述任务管理器向所述语音机器人发送指令启动相应的培训任务或考核任务，所述语音机器人向人工坐席发起通话，执行所述培训任务或考核任务；

其中，所述语音机器人包含语音识别器、语义理解器、语音合成器；所述语音识别器识别人工坐席输入的语音并转换为文字；所述语义理解器用于理解人工坐席应答内容的语义；所述语音合成器将语音机器人与人工坐席对话交互的文字转化为语音并回复至人工坐席；语音机器人将人工坐席应答内容发送至问答分析器；

其中，所述问答分析器与所述语音机器人相连接；所述培训任务或考核任务执行完成后，所述问答分析器对其接收到的人工坐席应答内容进行打分评价，并将打分评价结果发送至所述报表统计装置；

其中，所述报表统计装置与所述问答分析器相连接；所述报表统计装置接收打分评价结果，并根据所述打分评价结果统计培训任务或考核任务的执行情况及执行结果，生成培训结果报表或考核结果报表；所述报表统计装置将所述培训结果报表或考核结果报表反馈至人工坐席；

其中，执行培训任务或考核任务，具体包括：

语音机器人通过呼入呼出装置对人工坐席发起通话，发送培训指令或考核指令至人工坐席，开始执行培训任务或考核任务；

人工坐席接收到培训指令或考核指令后进行摘机操作，语音机器人播报指导语提示人工坐席培训或考核的内容及要求，播报完毕后培训或考核开始，人工坐席根据业务流程与语音机器人进行对话；

语音机器人在对话过程中对人工坐席的应答内容进行语音识别、语义理解，结合语义理解结果按照对话逻辑顺序与人工坐席进行对话并接收人工坐席下一个应答内容；

语音机器人持续与人工坐席进行对话直至执行完成当前任务的业务流程并挂机；执行完成当前任务时，语音机器人播报结束语提示人工坐席任务结束；

其中，语音机器人播报的提示语、结束语、与人工坐席进行对话的话术采用语音合成得到的语音，或者采用人工录制的语音；

构建生成的所述培训试卷或考核试卷包括试题、指导语、结束语；

其中，针对构建生成的培训试卷或考核试卷中的每个试题设置有对话逻辑信息，所述对话逻辑信息包括客户话术、坐席话术、对话分支及对话分支入参、提示话术、对话过渡话术、最大对话轮次、失败话术、培训要求或考核要求；

其中，培训要求或考核要求包括内容打分标准、韵律打分标准；所述内容打分标准的打分项包括关键词、语义项、文字匹配度、文字完整度；所述韵律打分标准的打分项包括语速、音量；

培训模式或考核模式包括对话场景模式、知识库模式；在对话场景模式中，根据当前业务场景的对话逻辑顺序组织试题并构建生成培训试卷或考核试卷；在知识库模式中，选择当前业务场景的试题构建成一个或多个提问列表，利用所述提问列表生成培训试卷或考核试卷；

在对话场景模式中，由对话分支入参驱动对应的对话分支，并根据人工坐席的应答内容选择对话分支中的客户话术进行回复；

在执行培训任务时，选择配置的培训模式；在执行考核任务时，选择配置的考核模式；

在对话场景模式中，语音机器人在对话过程中对人工座席的应答话术进行语音识别、语义理解；语音机器人模拟客户选择由对话分支入参驱动的对话分支中的客户话术回复人工坐席，结合语义理解结果按照对话分支的对话逻辑顺序与人工坐席进行对话并接收人工坐席下一个应答话术；语音机器人将人工坐席的应答内容发送至问答分析器；

在知识库模式中，语音机器人根据提问列表中的试题依次提问人工坐席，并接收人工座席应答的答案，语音机器人对人工座席应答的答案进行语音识别、语义理解；语音机器人将人工坐席针对当前试题的应答内容发送至问答分析器；

所述问答分析器分析判断人工坐席的应答内容是否应答正确；当问答分析器判断人工坐席应答正确时，语音机器人按照对话分支的对话逻辑顺序进入后续对话流程，或者进入提问列表中下一试题的对话流程；当问答分析器判断人工坐席应答错误时，语音机器人通过提示话术提示坐席重新应答或者补充应答，直至人工坐席达到最大对话轮次或者应答正确；

其中，问答分析器对人工坐席的应答内容进行打分评价；

在对话场景模式中，问答分析器对人工坐席的应答话术进行打分评价；对话场景模式中用于打分评价的评价项包括内容评价、语速评价、静默评价、情绪评价；

在知识库模式中，问答分析器对提问列表中人工坐席应答每个试题的答案进行打分评价；知识库模式中用于打分评价的评价项包括内容评价、语速评价、静默评价、情绪评价；

其中，内容评价是对人工坐席的应答内容中是否包含标准话术或标准答案中的关键内容或者关键信息进行打分评价；内容评价包括关键信息匹配评价模式、逐字匹配评价模式和语义匹配评价模式；

其中，在关键信息匹配评价模式中，对人工坐席的应答内容中是否呈现了标准话术或标准答案所定义的关键信息进行打分评价；应答内容中呈现的关键信息越多则打分越高；其中，采用关键词匹配算法实现所述关键信息匹配评价模式；

其中，在逐字匹配评价模式中，对人工坐席应答内容与标准话术或标准答案之间的文字差异度进行打分评价；应答内容与标准答案之间的内容文字差异度越小则打分越高；其中，文字差异包括插入错误、删除错误、替代错误；其中，采用最小编辑距离算法实现所述逐字匹配评价模式；

其中，在语义匹配评价模式中，对人工坐席的应答内容中是否呈现了标准话术或标准答案所定义的语义项进行打分评价；应答内容中呈现的语义项越多则打分越高；其中，采用语义理解算法实现所述语义匹配评价模式，所述语义理解算法包括基于统计建模的模式分类算法；

其中，语速评价通过统计人工坐席在单位时间所说的文字个数来对人工坐席语速进行打分评价；根据语音识别器识别输出的文字个数及对应的语音时长计算人工坐席的语速；人工坐席语速与当前任务设定的标准语速范围的差距越小则打分越高；

静默评价是对人工坐席与客户通话过程中静音时长的长短进行打分评价；静音时长越长则打分越低；

情绪评价是对人工坐席在应答中的情绪表现进行打分评价；情绪评价包括两个评价层面，即内容层面和信号层面；在内容层面采用匹配情绪相关关键词、或者通过统计分类获取文本情绪类型实现情绪评价；在信号层面通过对信号特征进行统计分类实现情绪评价；

对各个评价项的打分进行加权得到综合评分；对参与培训或考核的人工坐席的综合评分进行排名，并对单个评价项打分低及综合评分低的人工坐席给予提示；

针对所有参与培训或考核的人工坐席及所有试题分析人工坐席的掌握情况，根据试卷的平均分排名确定需要重点培训的人工坐席，根据试题的错误率确定需要重点指导的试题。

5.根据权利要求4所述的人工坐席培训考核系统，其特征在于，

其中，所述任务配置器与所述呼入呼出装置相连接；所述任务配置器配置所述呼入呼出装置的线路资源，配置任务类型，配置培训时间或考核时间；

所述任务类型包括呼出任务、呼入任务；配置的任务类型为呼出任务时，所述任务配置器配置呼出时间、呼出名单及号码、重呼策略、调度策略；配置的任务类型为呼入任务时，所述任务配置器配置呼入号码；

其中，所述任务配置器与所述语音机器人相连接；所述任务配置器配置语音机器人中语音合成器的音色、音量、音高、语速；所述任务配置器根据业务场景选择对应业务领域的语音识别模型，并将所述语音识别模型配置于所述语音识别器中；所述任务配置器根据业务场景选择对应业务领域的语义理解模型，并将所述语义理解模型配置于所述语义理解器中；根据对话分支的难易程度或人工坐席的技能掌握情况配置对话分支入参。

6.根据权利要求4所述的人工坐席培训考核系统，其特征在于，

所述报表统计装置根据所述打分评价结果统计培训任务或考核任务的执行情况及执行结果，生成培训结果报表或考核结果报表，具体包括：

针对培训试卷或考核试卷中的每个试题，分别对参与培训或考核的人工坐席进行评价打分，统计所有参与培训或考核的人工坐席的试题平均分、标准差、错误率；

针对每个参与培训或考核的人工坐席，统计各个人工坐席应答试卷中所有试题的平均分，即统计各个人工坐席的试卷平均分；根据各个人工坐席的试卷平均分进行排名；

统计各个参与培训或考核的人工坐席当前培训或考核结果与之前培训或考核结果之间的差异度及提升度；

利用统计得到的试题平均分、标准差、错误率、试卷平均分、排名、差异度及提升度生成相应的培训结果报表或考核结果报表。

Images